36氪从多位产业人士处获悉,字节跳动正探索进入自动驾驶领域。这一项目目前由Seed旗下周畅的世界模型团队负责。据了解,Seed旗下不仅有周畅的多模态模型、世界模型等团队,还有大语言模型方向。
而自动驾驶与世界模型的技术路线有交叠之处。
另有消息人士告诉36氪,业务方向上,字节有意布局的自动驾驶场景有无人物流,这一业务隶属于字节旗下的火山引擎汽车行业线。
部分接近字节的知情人士表示,字节团队此前与一些头部自动驾驶团队进行过业务探讨交流,目前字节的自动驾驶项目已进入早期筹备状态。字节向不少头部辅助驾驶或自动驾驶人才发出了邀约,一些看好字节这一布局的技术人才也计划加入。
针对以上消息,36氪向字节求证,字节回应:“字节大模型前沿探索领域,包括物理AI领域,有很多早期研究和探索,但并没有做智能驾驶业务的计划。”
Seed是字节旗下的大模型基础研究团队,成立于2023年,是字节的一级战略级部门。
周畅是字节Seed AI研发核心负责人之一。他于2024年加入字节,负责多模态大模型的研发等,此后他管理的业务范畴不断扩大。去年,视觉生成业务已划入其负责范围,今年Seed Robotics团队也转向周畅汇报。这意味着,目前周畅的管理边界,覆盖多模态大模型、世界模型、视觉生成、具身智能等多个领域。
火山引擎是字节的云服务品牌,早在2020年火山引擎旗下就建立了汽车行业线,山引擎总裁谭待还曾公开表示:“我们是所有云厂商中第一个把汽车做成一级线。”
今年以来,物理AI浪潮兴起,自动驾驶和具身智能被视为物理AI最先落地的两大场景。其中,自动驾驶是公认最早一批落地的具身智能场景。
因而当大厂都在追逐物理AI风口之际,自动驾驶,或将成为字节通往具身智能的一栈。
于自动驾驶行业而言,在世界模型成为自动驾驶界技术共识的今天,字节带着资源、人才、技术优势跨界,很有可能撼动行业既有格局。
世界模型成技术共识,字节迎来跨界契机
事实上,字节早就流露出过对汽车业务的渴望。
在布局自动驾驶之前,字节先已通过豆包大模型,切入了汽车座舱领域,意在重新定义座舱的交互体验。如今字节进一步布局辅助驾驶,可以使整车的智能化体验闭环。
36氪曾报道过,字节旗下火山引擎是对汽车座舱智能体投入最大的团队之一,赛力斯是目前与之合作最为深入的车企。火山引擎还向英伟达定制了Thor z芯片,将座舱模型以Al Box的“外挂”形式部署在车端。
赛力斯将新座舱交互的开发主导权交给了火山,并为其提供整车平台与落地能力,与上亿元的资金支持。
今年6月,赛力斯与火山引擎合作的汽车品牌AIVA正式发布,预计今年内,搭载“豆包座舱”的AIVA ME7也会上市。
但值得注意的是,AIVA品牌的辅助驾驶合作方,是元戎启行。有自动驾驶行业人士评价:“智能座舱和辅助驾驶不整合到一起,整车的智能化体验很难闭环。”
自动驾驶行业对世界模型的技术共识,恰又给了字节跨界的契机。
去年,行业还曾掀起过一场关于VLA和世界模型的技术路线之争。而今年,吉利、Momenta、小米、轻舟智行等越来越多企业,聚拢到了世界模型的大旗下,其中也包括部分曾经的VLA派。
比如小鹏。今年不仅发布了自研的X-World世界模型,还拆掉了VLA中的“L模块“,也就是语言模块,推出了 VLA 2.0。这意味着,小鹏不再将视觉内容转化为语言,再去推理,而是将视觉作为“智能的基石”。这样的模型架构已相当接近世界模型。
理想在今年GTC大会上发布的MindVLA O1,其内置的 3D ViT空间编码器与预测式隐世界模型,不仅强调对语言指令的理解,也强调对三维空间的结构化理解,以及对未来路况演变的预判,而后两者正是世界模型的要义。
因此,字节在启动世界模型的研发后,跨界至自动驾驶领域,自是顺理成章。
携资源、人才优势跨界,字节将对自动驾驶行业发起冲击
对字节而言,对自动驾驶的布局,或将其更快引渡到具身智能的彼岸。
今年,英伟达创始人黄仁勋、特斯拉CEO马斯克等人都预判,物理AI的Chat GPT时刻已经到来。自动驾驶和具身智能正是物理AI落地率先落地的两大场景。
它们的的能力栈高度通用,其中,自动驾驶的路况标准、硬件等都已趋向统一,产业链经过多年发展已相对成熟,所以行业普遍认为,做不好自动驾驶,便很难实现更通用的具身智能。因而自动驾驶之于字节,不啻于具身智能的练兵场。
自动驾驶对于字节具身智能另一重要的意义,或许在于数据。
缺乏来自物理世界的真实数据,是困扰许多具身智能企业的因素。而自动驾驶在数据采集上享有天然优势。
因此字节布局自动驾驶后,将更容易获取大量物理世界的数据,以迭代其世界模型,进而将模型能力复用至具身智能。
马斯克曾在去年公开表示:“特斯拉拥有FSD数十亿英里真实道路数据,这是我们物理AI的巨型训练场。感知、世界建模、运动规划全部能直接迁移给Optimus。如果没有庞大车队,我们根本无法规模化采集真实世界传感数据。”
今年他又公开称:“如果没有先做FSD自动驾驶汽车,研发Optimus难度会高出一个数量级。”他所强调的FSD对Optimus机器人的助力,正体现在“车辆数据管线”,让机器人“跳过十年试错周期”。
因此,字节对自动驾驶的布局,某种程度上流露出的,是它对具身智能的野心。
对于自动驾驶行业而言,字节跨界至自动驾驶,或将对自动驾驶行业格局发起不小的冲击。
自动驾驶技术转向AI范式,在某种程度上,改写了行业竞争的底层逻辑。基于AI范式的自动驾驶技术,正让各家的产品体验快速追齐。何况字节还有着人才优势和资源优势。
有自动驾驶行业人士对36氪表示,字节的优势在于,“目前它有足够的钱去烧,而且有足够多的人才”,“而且字节有足够多的卡,完全能负担得起他们后发先至”。
他解释:“字节现在做的通用世界模型,跟自动驾驶世界模型其实不完全一样,其中很多技术细节差距挺大。而且智驾专用世界模型,对交通物理的理解更深刻。
但字节有足够的算力资源,只要有办法能够拿到足够多的交通数据,重新训练一个智驾世界模型不成问题。
只要云端模型够强,字节所缺少的自动驾驶工程化能力,可以通过招人尽快补齐。”
自动驾驶行业经历近10年混战后,字节的入局或将给行业带来不小的变数。