3月10日消息，如今开发人工智能的成本正降至历史新低。更低廉的人工智能开发技术的确让开发者欢欣鼓舞，但这并非全然利好。随着成本降至谷底，大科技公司在基础模型上的高昂投资必须得到合理解释。

　　打造一家人工智能公司究竟要花多少钱？随着大语言模型的研发成本越来越低，这个数字每天都在下降。

　　人工智能算力成本持续下降，此外用极低成本训练出优质大模型的“模型蒸馏技术”在不断普及。新型廉价开发技术令AI开发者欢欣鼓舞，但这并非全然利好，也让一些企业感到寒意。这项历史悠久的技术正被赋予新价值：对多数人是福音，对特定群体意味着复杂挑战，而对AI未来则意义深远。

　　人工智能开发者和专家表示，蒸馏技术的本质在于运用一个模型提升另一个模型。让一个较大的“教师”模型生成应答与推理路径，再让一个较小的“学生”模型模仿其行为模式。

　　据传中国公司DeepSeek（深度求索）以约500万美元成本训练出与OpenAI抗衡的模型，在业界引起轩然。该消息引发股市恐慌，因担忧芯片需求下降，英伟达市值惨跌6000亿美元（但此预测尚未成真）。

　　加州大学伯克利分校的研究团队则在今年1月份发布研究，表明他们用不到1000美元的算力成本就训练出两个新模型。今年2月份，斯坦福大学、华盛顿大学以及艾伦人工智能研究所的研究人员更进一步，只用更低成本就训练出一个可用的推理模型。

　　这项技术通常会搭配微调技术（fine-tuning），能以远低于其他方法的成本在训练阶段提升模型性能。开发者常用这两种技术赋予模型特定的专业知识或技能。例如，可以将Meta开发的通用基础模型蒸馏成精通美国税法的专家系统；或者利用DeepSeek的R1推理模型对Llama进行蒸馏，从而增强后者的推理能力，让Llama在生成答案需要更长时间时，能逐步展示推理过程。

　　美国知名半导体分析机构SemiAnalysis分析师在今年1月份发布的报告中写道：“R1模型中最有意思的部分，或许就在于用推理模型的输出对一些非推理的小模型进行微调，使它们转变为具备推理能力的模型。”

　　除了价格低廉外，DeepSeek还把R1推理模型作为教师，发布其他开源模型的蒸馏版本。DeepSeek的全尺寸模型以及Llama的最大版本规模太过庞大，仅有特定硬件能支持模型运行，而蒸馏技术也有助于解决这一问题。图灵资本（Touring Capital）合伙人萨米尔·库马尔（Samir Kumar）表示：“经过蒸馏的模型体积更小、参数更少、内存占用更低，甚至可以在手机或边缘设备上运行。”

　　DeepSeek的突破性在于，经过蒸馏的模型性能并未因规模缩减而下降，反而有所提升。

　　蒸馏技术最早出现在2015年，源于谷歌人工智能元老杰夫·迪恩（Jeff Dean）、杰弗里·辛顿（Geoffrey Hinton）以及谷歌DeepMind研究副总裁奥里奥尔·维尼亚尔斯（Oriol Vinyals）共同撰写的一篇论文中。维尼亚尔斯近期透露，该论文曾被NeurIPS顶会拒稿，理由是该技术“对领域影响有限”。十年后，蒸馏技术却突然成为AI讨论的核心议题。与过去相比，如今蒸馏技术的威力提升源于可用作教师模型的开源模型在数量与质量上的飞跃。今年1月份，IBM LLM Granite技术管理总监凯特·索尔（Kate Soule）在播客中表示：“DeepSeek通过MIT许可开源迄今最强大的模型，实质上正在侵蚀各大厂商守护核心模型的紧闭大门。”

　　蒸馏技术的应用边界索尔提到，互联网开源模型库Hugging Face平台上充斥着诸如Meta Llama和阿里巴巴Qwen等传统模型的蒸馏版本。实际上，Hugging Face存储的约150万个模型中，有3万个名称中带有“distill”字样，这通常表明它们经过了蒸馏。但目前尚无蒸馏模型进入Hugging Face的榜单前列。正如实体店里的一元店，蒸馏技术虽具顶尖性价比，但可选范围有限且存在缺陷：专精某项任务的蒸馏模型在其他领域的表现可能会弱化。

　　苹果公司研究人员曾尝试构建“蒸馏扩展定律”，通过教师模型的规模、目标模型规模和算力投入等参数预测蒸馏效果。他们发现，在特定条件下，当使用高质量的教师模型时，蒸馏效果优于传统的监督学习，但当教师模型过大时，性能提升将停滞。

　　尽管如此，这一技术仍有助于缩短从概念到原型的距离，普遍降低人工智能创业门槛。但多位人工智能专家强调，这种捷径并不否定昂贵基础模型的必要性，但却是动摇了大模型厂商的盈利前景。

　　基础模型还有出路吗？英伟达首席执行官黄仁勋在公司最新财报发布后接受采访时表示：“如今全球几乎所有AI开发者都在使用DeepSeek的R1来蒸馏新模型。OB欧宝app下载”蒸馏技术带来了机遇，但对OpenAI和Anthropic等公司耗巨资开发的专有大模型构成了威胁，有可能遭到对抗。云平台Hyperbolic联合创始人张杰表示：“我认为基础模型将会越来越趋于同质化。预训练模型的能力存在天花板，我们正逼近这个极限。”张杰认为，大语言模型巨头的出路在于打造受欢迎的产品而非模型本身，这或许解释了Meta选择部分开源Llama模型的战略考量。

　　此外，基础模型公司还可以采用更激进的策略。匿名谷歌DeepMind研究员表示，具备推理能力的模型可以通过隐藏推理步骤或“痕迹”来防止被蒸馏。虽然OpenAI在大型o1推理模型中隐藏了完整的推理路径，但新发布的o3-mini版本则展示了这些信息。特朗普政府人工智能政策顾问戴维·萨克斯（David Sacks）在今年1月份接受采访时说：“未来几个月，头部人工智能公司将围剿蒸馏技术。”

　　不过，在开源人工智能的“狂野西部”，要通过限制蒸馏来遏制技术扩散谈何容易。IBM LLM Granite的索尔直言：“Hugging Face充斥着大量GPT模型生成的、未经授权的格式化训练数据集。这早已经是公开的秘密。”

　　03月11日，丁薛祥会见阿塞拜疆总统阿利耶夫，千亿手机官网下载app，Manbetx出问题了吗，亚星官网登录入口，沙巴体育游戏线人特区护照 外交部：合情合理合法，博万体育平台app下载，必发365官网，乐鱼平台链接打不开，爱游戏入口

　　03月11日，乡村产业发展“缺地”？浙江探索“点土生金”，真钱斗牛app下载，斗牛免费棋牌，国际贸易真人秀，狼堡贝博网站

　　03月11日宁马城际铁路马鞍山段全线架梁通道全部打通新宝系列官网开云登录官网现金平台网站炸金花上下分app

　　03月11日冷空气影响江南及以北地区 华北南部等地霾天气减弱消散升博体育平台新诺亚传说官网下载皇冠钱包app第三方平台纬来体育网站是多少

　　03月11日中国核电站废水氚含量高于福岛核污染水？中方：二者有本质区别12betapp链接金沙网络玩电子游戏二八杠的公式打庄……

　　03月11日，【央视快评】加强普惠性基础性兜底性民生建设 积极主动做好事办实事解难事 ，斗牛赚钱的软件，体育bob综合，188金宝博官方网站，英皇娱乐电子网投

　　03月11日，报告称，可持续航空燃料全球化供应链正在形成，千赢在线体育下注app，球盟会官网地址，JDB东方神兽爆分视频

　　03月11日一线调研丨枯木也能长新芽？为胡杨林“解渴”他们有妙招必发app下载巴黎人登录下载利宝娱乐AG娱乐官方网站是多少

　　03月11日，解决退费难题 探索有效监管，ag厅真的吗，必赢亚洲官方体育，千亿体育网站登录，小铭德州用的是什么app

　　03月11日，冷空气来袭 乌鲁木齐迎雨雪天气，英皇娱乐快速开户，新宝6平台下载安装，天博体育安卓下载安装，ya博体育app

　　03月11日，海南省政协委员叶家麟：2023年三亚接待过夜游客2600万人次，365投注平台，澳门金沙棋牌大全，棋牌斗牛牛，香港大富大贵

　　03月11日“秦岭四宝”“五水共治”……良好生态环境转化为最普惠民生福祉MG真人好玩吗?AOA怎么样ayx在线开户哪个app可以赌网球

　　03月11日深圳各口岸迎来多轮出入境客流高峰 湾区跨境流动日益频密乐玩游戏中心合乐hl8注册牛宝体育注册App天博app官网地址下载

　　03月11日【理响中国·青年学习班】 党纪学习教育需知行合一万里报2020欧洲杯正赛赛程视讯真人游戏免费试玩捷报比分即时

　　陈紫函 我老公终于红了，村支书醉驾被免职 被指扶植儿子继任丁薛祥出席何梁何利基金2024年度颁奖大会并讲话万博manbext手机版入口澳门所有的娱乐平台宝马会网投平台广兴国际真人游戏

　　国乒女团对阵埃及，刘洋夺金邹敬园摘银水往高处流！宁夏扬黄河水逆势向上让戈壁沙漠变良田绿洲杏耀注册登录平台亚博外围官网千亿体育国际官网凯发地址平台

　　闫妮蒋欣新剧邻居处成姐妹，大赤老师新作25年开启连载赣南山区新发现濒危植物突托蜡梅野外最大种群快讯！法国总统马克龙5日批准总理巴尼耶的辞职请求真人德州登入澳门威斯尼斯人298app下载安装大红鹰平台金沙游戏软件

　　华中农大张黎称已成立新导师组，谁杀了她青海西宁：科技创新比赛 青少年观“AI”做手工“画”科学so米体育网页版伟德体育快速开户万博max官网地址大富豪下载网址谁有

　　中国女游客在泰国遭假摩的司机性侵，专家：房屋养老金不是变相的房产税黄埔百年丨百年回望：孙中山先生与黄埔军校雷速体育官网app下载火狐体育ios下载皇冠体育竞猜足球上盘好还是下盘好

　　妻子脚部手术几天没洗丈夫隔空抹药，鸣潮社媒活动考虑不周引争议全国智能感知与能源装备产教融合共同体在天津成立凯时国际上娱乐官网三晟体育云顶娱乐官方登入im体育手机官网

　　高质量发展信心满怀，雷军官宣小米汽车发布日湖南张家界上演峰林杂技秀必威网址在哪找天博app下载官网欧宝平台官网皇冠足球