算力不足限制AI创新 学者呼吁加强学术界算力支持

小微 2024年11月28日 阅读:44245

算力不足限制AI创新 学者呼吁加强学术界算力支持
图片来源于网络,如有侵权,请联系删除

  一项针对全球数十家学术机构的学者开展的调查显示,许多大学的科学家对人工智能(AI)研究可用的算力资源感到沮丧。

  相关研究论文已于近日发布在预印本服务器arXiv上,指出学者难以接触到最先进的计算系统,这可能阻碍他们开发大型语言模型(LLM)和其他AI研究的进展。

(图片来源:nature)

  具体而言,学术研究者往往没有资源获取足够强大的图形处理器(GPU)——这些电脑芯片常用于训练AI模型,且价格昂贵,可达数千美元。相比之下,大型科技公司的研究者预算更高,可以在GPU上投入更多资金。“每增加一块GPU,就能提升更多算力。”美国布朗大学计算机科学家、该研究的合著者Apoorv Khandelwal表示,“虽然行业巨头可能拥有数千块GPU,但学者可能只有几块。”

  “学术界与行业界的模型差距巨大,但本可以小得多。”美国华盛顿特区非营利AI研究机构EleutherAI的执行董事Stella Biderman说。她表示,对这一差距的研究“至关重要”。

  为了评估学者可用的计算资源,研究团队对35家机构的50名科学家进行了调查。受访者中,66%对自己的算力满意度打了3分及以下(满分5分)。“他们根本不满意。”Khandelwal说。

  各大学在GPU访问设置上有所不同。有些学校设有供各部门和学生共享的中央计算集群,研究人员可申请GPU使用时间。另一些机构可能为实验室成员直接购买机器。

  柱状图揭示了调查的结果:学者通常只能有限地访问图形处理器,这进而限制了他们训练机器学习模型的能力。

  一些科学家表示,他们不得不等待数天才能使用GPU,并指出在项目截止日期前后等待时间特别长。调查结果还凸显了全球算力访问的差异。例如,有受访者提到在中东地区难以找到GPU。仅有10%的受访者表示,他们可以使用英伟达的H100GPU,这是专为AI研究设计的高端芯片。

  这一障碍极大地加剧了预训练过程的难度,即向大型语言模型(LLM)输入海量数据集的过程变得尤为困难。“由于成本高昂,大多数学者甚至不敢涉足预训练领域的研究。”Khandelwal指出。他和同事坚信,学者在人工智能研究中带来了独一无二的视角,而算力的匮乏可能会严重制约这一领域的未来发展。

  “为了长期的增长和技术发展,拥有一个健康、有竞争力的学术研究环境至关重要。”美国布朗大学计算机科学和语言学学者、该研究的合著者Ellie Pavlick说,“相比之下,在行业研究中往往存在显著的商业压力,这有时会促使研究人员急于求成,减少了对未知领域的探索。”

  研究人员还深入探究了学者如何在算力资源有限的情况下更高效地进行利用。他们测算了在使用1至8块GPU的低资源硬件环境下,预训练多个大型语言模型(LLM)所需的时间。尽管面临资源限制,学者仍成功训练出多个模型,但这一过程耗时更长,并要求他们必须采用更为高效的方法。

  “我们实际上可以延长现有GPU的使用时间,从而在一定程度上弥补与行业界的差距。”Khandelwal说。

  “在有限的计算资源上竟然也能训练出比许多人预期中更大的模型,这确实令人惊叹。”德国萨尔布吕肯萨尔兰大学神经显式模型研究者Ji-Ung Lee表示。他进一步指出,未来的研究可以聚焦小公司行业研究者的经历,因为他们同样在计算资源获取上面临困境。“并非所有有能力获取无限算力的人都能够如愿以偿。”他补充道。 (作者:吴双)

【责任编辑:朱家齐】
    阅读下一篇:
              热门文章
              • 帅丰电器获得实用新型专利授权:“一种防溢出的集油盒”

                帅丰电器获得实用新型专利授权:“一种防溢出的集油盒”
                图片来源于网络,如有侵权,请联系删除证券之星消息,根据天眼查APP数据显示帅丰电器(605336)新获得一项实用新型专利授权,专利名为“一种防溢出的集油盒”,专利申请号为CN202420309334.6,授权日为2024年11月22日。 专利摘要:本实用新型公开了一种防溢出的集油盒,涉及油烟机技术领域。目前,集油盒内油污容易因为不能观察,而出现溢出情况。本实用新型包括集油盒本体,集油盒本体内腔设有隔板,隔板将集油盒本体内腔分为上层及下层,上层内通过圆杆固定连接有防溢浮球阀...
              • 华英农业股东户数环比下降6.49% 今日大涨10.04%

                华英农业股东户数环比下降6.49% 今日大涨10.04%
                图片来源于网络,如有侵权,请联系删除(原标题:华英农业股东户数环比下降6.49% 今日大涨10.04%) 华英农业11月26日在交易所互动平台中披露,截至11月20日公司股东户数为40533户,较上期(11月10日)减少2814户,环比降幅为6.49%。这已是该公司股东户数连续第2期下降。图片来源于网络,如有侵权,请联系删除 证券时报•数据宝统计,截至发稿,华英农业收盘价为2.63元,上涨10.04%,本期筹码集中以来股价累计上涨10.50%。具体到各交易日,5次上涨,7...
              • 网红经济概念涨2.84%,主力资金净流入这些股

                网红经济概念涨2.84%,主力资金净流入这些股
                图片来源于网络,如有侵权,请联系删除(原标题:网红经济概念涨2.84%,主力资金净流入这些股) 截至11月25日收盘,网红经济概念上涨2.84%,位居概念板块涨幅第10,板块内,76股上涨,锦泓集团、跨境通、二六三等涨停,太湖雪、百纳千成、蓝色光标等涨幅居前,分别上涨15.55%、15.01%、8.97%。跌幅居前的有海宁皮城、凯淳股份、青岛金王等,分别下跌10.00%、8.17%、6.72%。图片来源于网络,如有侵权,请联系删除 今日涨跌幅居前的概念板块...
              • 创业板指半日大涨3.83%,大金融、大消费概念股集体爆发!A50直线拉升涨超2%

                创业板指半日大涨3.83%,大金融、大消费概念股集体爆发!A50直线拉升涨超2%
                图片来源于网络,如有侵权,请联系删除11月29日,A股市场早盘集体上涨,其中创业板指领涨,沪深两市半日成交额达9718亿。沪指、深成指、创业板指分别上涨1.59%、2.41%、3.83%。大金融股和大消费股表现尤为活跃,锦龙股份、国盛金控等多股涨停,同花顺创历史新高。富时中国A50指数期货、香港恒生科技指数也大幅上涨。...
              • [路演]巨人网络:围绕“征途”和“球球”两个旗舰IP做长远战略计划

                [路演]巨人网络:围绕“征途”和“球球”两个旗舰IP做长远战略计划
                图片来源于网络,如有侵权,请联系删除(原标题:[路演]巨人网络:围绕“征途”和“球球”两个旗舰IP做长远战略计划) 齐“投”共进,“渝”见未来――重庆辖区2024年投资者网上集体接待日11月28日在全景网举办。巨人网络(002558)董事会秘书孟玮介绍,公司一贯重视成熟产品的稳定经营,不断巩固最核心且擅长的国战MMORPG及多人休闲竞技赛道,通过版本内容推陈出新和运营精细化,提升“征途”以及“球球大作战”两大IP的潜力;公司还围绕“征途”和“球球”两个旗舰IP做长远战略计划...