- AI大模型浪潮下算力需求爆增,商汤“大模型+大算力”赋能多产业发展
- 2023年06月08日来源:搜狐
提要:近日,以“AI引领时代,算力驱动未来”为主题的“临港新片区智算大会”举行。会上,新片区智算产业联盟正式成立,商汤科技作为算力提供企业成为联盟一员,同时商汤科技被授予“新片区智算产业链链主”企业。
近日,以“AI引领时代,算力驱动未来”为主题的“临港新片区智算大会”举行。会上,新片区智算产业联盟正式成立,商汤科技作为算力提供企业成为联盟一员,同时商汤科技被授予“新片区智算产业链链主”企业。
作为临港算力生态的积极参与者,商汤目前已建设了亚洲目前最大的智能计算平台之一——商汤AIDC,可以输出5000 Petaflops的总算力,可支持20个千亿参数量的超大模型同时训练。以AIDC为底座、前瞻打造的商汤大装置SenseCore,致力于打造高效率、低成本、规模化的下一代AI 基础设施与服务,赋能人工智能生产新范式,将成为AGI时代的基础设施服务领导者。
AI大模型浪潮下,算力需求爆增
人工智能三大要素主要包括数据、算法以及算力。根据OpenAI近日发布的数据,自2012年以来人工智能训练任务中使用的算力呈指数级增长,其增长速度为每3.5个月翻一倍。截止目前人们对算力的需求已增长了超过30万倍,ChatGPT的火爆引发了市场对算力方面的新需求。
目前我国算力市场保持持续增长,经信通院测算,2021年我国计算设备算力总规模达到202 EFlops,增速约50%,高于全球增速。
在此背景下,上海临港积极发挥本地算力产业优势和生态牵引作用,发布了《临港新片区加快构建算力产业生态行动方案》(以下简称《方案》)。
据介绍,临港新片区算力产业已在上游软硬件、中游的数据中心、调度平台、下游应用都进行了相应布局,目前临港总算力超过3EFLOPS(FP32),智能算力占比近80%,总算力规模约占上海市近20%。
《方案》提出,目标到2025年,临港新片区将形成以智算算力为主、基础算力和超算算力协同的多元算力供给体系,总算力超过5EFLOPS(FP32),AI算力占比达到80%,算力产业总体规模突破100亿元,建成公共算力服务平台,规范算力交易机制,实现区域算力调度,打造具有全国影响力的算力产业集聚区,建设一批算力示范应用标杆场景。
商汤科技董事长兼CEO徐立表示,算力是新时代的能源,某种程度上,算力决定了市场的竞争力。“算力是整个模型能力的表达,等于算法或者说大模型的参数去乘上它所处理的数据量。大模型时代参数越大,乘上的数据量越大,所需要的算力就越大。”
与此同时,临港新片区智算产业联盟正式成立,该产业联盟成员代表由25家企业和3所高校与科研院所共同组成,后续将开展资源共享、技术交流和项目合作,推动新片区智算产业应用赋能经济发展。
商汤科技被授予“新片区智算产业链链主”,位于临港新片区的商汤科技智能计算中心承载着长三角开展大规模人工智能研发和产业化重任,后续将积极参与到临港智算产业链的协同融合和集聚发展。
大模型+大算力融合创新
大模型和大算力的融合正在掀起生产范式的重大转变,推动科学研究和产业应用迈向智能计算驱动的通用人工智能(AGI)时代。在技术快速迭代的发展初期阶段,行业亟需构建新一代的基础设施,降低应用门槛、缩短研发周期、提高创新效率。
商汤科技超前布局,历时五年,打造了商汤大装置SenseCore,并在此基础上构建了“商汤日日新SenseNova”大模型体系,为行业提供覆盖大模型算法服务、训练和推理优化以及数据服务等软硬结合的AGI基础设施。
据介绍,商汤大装置SenseCore以商汤人工智能计算中心(简称“商汤智算中心或商汤AIDC”)为算力基座,包含27,000块GPU,可以输出5000 Petaflops的总算力,拥有行业领先的算力输出能力、超大模型训练及大规模推理能力,是亚洲目前最大的智能计算平台之一。
商汤大装置SenseCore当前算力可支持20个千亿参数量的超大模型同时训练,并提供涵盖数据、训练工具、推理部署、性能优化一条龙的大模型基础设施服务体系。
商汤大装置拥有出色的并行计算能力,能够以最大3200卡规模集群进行单任务训练,并可做到七天以上不间断的稳定训练,不仅支持了商汤自身的大模型训练项目,而且还训练了其他企业自定义的模型。
此外,商汤大装置融合了AI、超算与大数据的核心能力,通过为AI优化的高性能计算、高性能存储及缓存、高性能网络,以存算分离,大规模弹性、容错调度等特征,支撑大模型在数千张卡、PB级存储上,完成万亿级参数大模型训练。
SenseCore AI平台产品还提供了模块化、全链条的数据、训练及推理能力。可实现百亿级数据管理及检索,人工标注服务,加速AI大模型研发效率。一键量化、一键部署、一键应用,提供了大模型快速上线验证的工具,加速创新。
此外,大装置还为客户及生态伙伴提供全链条MaaS大模型即服务,加速大模型的创新和应用效率。
其中,自动化数据标注服务可将智能标注效率提升百倍;大模型推理部署服务可将大模型推理效率提高600%;大模型并行训练服务支持单集群3200卡5000亿稠密参数模型训练;大模型增量训练服务能够将增量微调成本降低90%。
商汤AI大模型赋能多产业发展
在大装置的赋能下,商汤在大模型领域实现了飞速发展。
据徐立介绍,今年3月开源的“书生2.5”多模态大模型在检测、分割、分类三大主流视觉任务下二十多个权威数据集上全面领先,这为自动驾驶、机器人等通用场景任务提供高效精准的感知和理解能力支持。
对于人工智能基础科学(AI For Science)而言,在气象气候预报任务中,全球中期天气预报是最重要的预测任务之一。今年4月亮相的全球中期气象预报AI大模型“风乌”首次实现在高分辨率上对核心大气变量进行超过10天的有效预报,且在80%的评估指标上超越GraphCast模型。得益于对高分辨率全球大气数据建模,“风乌”还可以模拟台风等极端气象,准确预测台风轨迹。
商汤构建的业界首个感知决策一体化的端到端自动驾驶解决方案UniAD,在多项关键数据集与指标上超越了SOTA方法,使车道线的预测准确率提升了30%,预测运动位移的误差降低了近40%,规划误差降低了近30%。
此外,商汤还在上月推出的SenseEarth 3.0遥感大模型不仅拥有业内最全的解译类别,且在解译效率、泛化能力、解译精度等众多指标上均实现了技术突破。
徐立表示,“在AGI时代,模型的能力可以用算力来衡量。我们以商汤大装置SenseCore打造AGI时代的基础设施,在模型的迭代速度及处理问题的能力上日日更新,不断解锁AGI的更多可能。”
据悉,截至今年5月,商汤大装置已累计服务超40个核心客户,其中大模型客户10家以上,涵盖智能驾驶、生物制药、芯片设计、智慧商业、高校科研等前沿领域,并已在超过20个落地场景中实现大模型交付。
商汤科技联合创始人、大装置事业群总裁杨帆表示,如今所看到的大模型的成绩发展,是通过人工智能三要素的持续规模上升带来的技术价值的提升,同时也是这种基础的研发能力和系统的工程化能力深度的完美结合。这三要素很多时候是联合调优的,算法的优化、数据的整理和选取以及算力的平台性,这三者间往往是互相连通的,很难把它们变成割裂的环节独自去做。这就是为什么要做智能算力产业链,因为只有链上的更多企业,促进彼此的交流合作思考,更深度的进行合作,才能够在新的关键性的重大技术浪潮中,做到更好的技术进步和支持。返回