正在加载数据...
  • 汽车|房产|家居|家电|服装|时尚|健康|医药|教育|旅游|能源|环保|工业

    食品|科技|通信|手机|电子|金融|证券|电商|商超|物流|软件|安防|综合

  • 当前位置:南方企业新闻网>要闻> 人工智能>正文内容
    • 大模型价值跃升“赛点”:算力还是数据
    • 2023年07月10日来源:北京商报

    提要:2023世界人工智能大会期间,有人直言,没有大算力做大模型就是天方夜谭。但也有人认为,数据要素在人工智能大模型的发展中具有关键性作用,决定了模型的训练质量、性能表现和应用领域的广度与深度。

    2023世界人工智能大会期间,有人直言,没有大算力做大模型就是天方夜谭。但也有人认为,数据要素在人工智能大模型的发展中具有关键性作用,决定了模型的训练质量、性能表现和应用领域的广度与深度。

    全球大模型群雄逐鹿,算力最先告急。今年5月29日,英伟达创始人黄仁勋断言,“我们已经达到生成式AI引爆点,从此全世界的每个角落都会有算力需求”。一天后,英伟达市值突破万亿美元,屹立世界之巅。

    人们常把算力、算法、数据形容为人工智能的三驾马车,但这三驾马车之间可能也不是完全的并行关系。如果说算力是大模型的“根”,那数据或者说是高质量的语料库,或许就会成为算力的“根”。

    一热一冷

    大模型浪潮,率先将算力推至风口浪尖。2023世界人工智能大会上,算力成为大模型绝对的关键词之一。中国工程院院士、鹏城实验室主任高文把算力比作电力,认为没有大算力做大模型就是天方夜谭。华为轮值董事长胡厚崑也提到,大模型训练的效率或者是创新的速度,根本上取决于算力的大小。中国的算力已经成为一个越来越稀缺的资源。

    大会期间,毕马威与联想集团联合发布《普慧算力开启新计算时代》报告。毕马威中国数字化赋能主管合伙人张庆杰在解读报告时提到,算力供给增速明显难以满足指数式爆发的需求,储备算力成为各行各业的必要举动。

    据了解,深度学习出现之前,用于AI训练的算力增长大约每20个月翻一番;之后,用于AI训练的算力大约每6个月翻一番;2012年后,全球头部AI模型训练算力需求更是加速到每3-4个月翻一番,即平均每年算力增长幅度达到惊人的10倍;目前大模型发展如火如荼,训练算力需求有望扩张到原来的10-100倍,算力需求的指数级增长曲线将更加陡峭。

    大模型对算力的需求是显而易见的,但更关键的点可能在于是否能把算力更高效地挖掘出来。一家芯片企业的技术人员对北京商报记者提到,一个模型上线需要用到很多硬件,如果只支撑了少量用户,就会因为太贵导致用户不买账,由此撑不起正向循环的情况,但太便宜又会出现亏本的问题。特别是到落地阶段,如何能够结合模型上的一些改进,把硬件的特性最大程度地发挥出来,就会变得非常重要。

    “也就是说在训练阶段,大家对算力的追求可能是‘大’,这一方面能够做出更大的模型,另一方面也能够进行更快速的迭代。但到用户开始接受这个效果的时候,就要涉及到怎样做才能更划算的问题,也就是说在部署阶段,可能要更关注‘精’的问题,尽可能用相对少的算力实现最大程度的作用。”上述技术人员说道。

    大会期间,比起对算力的探讨,数据就显得有些“冷清”了。“数据要素比大模型早好几年,大模型被‘炒’起来了,但数据要素却一直不温不火。”7月8日,在2023世界人工智能大会“大模型时代下的数据要素流通”论坛的主题演讲中,拓尔思总裁施水才开场便提出了这样一种现象,在他看来,这场论坛为人们认识数据要素流通提供了一个新的视角。

    机遇与挑战

    在上述论坛上,中国知网副总经理张宏伟表示,数据是人工智能的基石,数据的质量和数量最终决定人工智能水平高低,影响其安全性、可信性。施水才更是认为,高质量数据才是大模型价值跃迁的制胜法宝。

    但当下的问题在于,数据并不都是高质量的。过去一段时间,一度出现“AI正在污染中文互联网”的讨论,而AI最让人诟病的就是“幻觉”问题,也就是人们常说的“一本正经地胡说八道”。

    大模型“幻觉”也是人工智能大会期间被提到的高频词汇。施水才对北京商报记者提到,“幻觉”问题的出现,主要是因为大模型缺乏理论的支撑,因为其核心技术原理主要就是Transformer架构下的Next Token Prediction,即“下一个字符的预测”。另一方面大模型并不是越大越好,数据也不是越多越好,真正好的大模型是参数大小适中,数据高质量。

    算力可以堆硬件,相比起来,优质数据的供给可能会复杂得多。中国电子副总经理陆志鹏提到,大模型技术实现高质量发展,数据有效供给是关键,急需建设安全可信的数据底座。当前数据合规确权、计量估价、协调分配、安全隐私保护等核心难题需要破解。

    在接受北京商报记者采访时,上海数据交易所副总经理韦志林提到,从推动数字经济,推动数据作为生产要素的角度看,数据应该是最核心、最长远、最基础性的因素。“大模型的预训练对数据要求也特别高,必须在前期进行清洗、标注、标识,但围绕千行百业的数据训练,在数据供给方面也呈现出了许多问题和挑战。”

    首要的就是头部厂商并不愿意开放数据。数据是生产要素,数据有价值,这些已经达成共识,但进行数据共享就一定会牵扯到安全问题,如何解决数据在共享过程中的安全机制至关重要。而数据的开放流通,也自然涉及收益分配,且数据流通过程中创造的新价值更多服务于企业内部,拿出去的动力还需进一步培育。

    “所以从数据流通本身看,更多压力还存在供给侧这一方面,需要解决供给侧产权制度问题、收益分配制度问题、安全问题、基础设施问题等,让数据流通更加便捷、更加合规。”韦志林表示,上海数据交易所作为国家战略的承接者,需要解决的就是这些问题。

    据了解,7月8日,上海数据交易所启动语料数据生态创新合作伙伴计划,而在此前一天,上海数据交易所官网刚刚正式上线语料库,累计挂牌近30个语料数据产品,包含文本、音频、图像等多模态,覆盖金融、交通运输和医疗等领域。




    版权及免责声明:
    1. 任何单位或个人认为南方企业新闻网的内容可能涉嫌侵犯其合法权益,应及时向南方企业新闻网书面反馈,并提供相关证明材料和理由,本网站在收到上述文件并审核后,会采取相应处理措施。
    2. 南方企业新闻网对于任何包含、经由链接、下载或其它途径所获得的有关本网站的任何内容、信息或广告,不声明或保证其正确性或可靠性。用户自行承担使用本网站的风险。
    3. 如因版权和其它问题需要同本网联系的,请在文章刊发后30日内进行。联系电话:01083834755 邮箱:news@senn.com.cn

    责任编辑:蔡媛媛
    相关新闻更多
      没有关键字相关信息!
    文章排行榜
    官方微博