当世界模型实现实时推理，能给AI应用带来什么创业机会？

近两年来，视频模型与世界模型发展迅速，涌现了大量优秀的初创企业，模型自身的迭代速度也极快。模型的进步推动了应用的升级，比如字节跳动的Seedance已成为其在AI领域的主要收入来源。

应用的进步则对基础设施提出了更严格的需求。例如，数字人直播和世界模型在模拟领域的应用，不仅需要内容生成，更要求与用户及“环境”进行互动。

这导致了AI的根本性转变：AI不再只是依赖提示词驱动的工具，而是演变为用户能沉浸其中并实时交互的体验。

实时性成为AI模型和应用对基础设施的新要求，但目前市场上缺乏能在生产环境中实时运行多模态模型的平台。

然而，一家名为Reactor的初创公司正试图构建这一基础设施层。它希望让开发者通过SDK和API，仅用几行代码就能构建实时交互式应用。其平台支持60FPS以上、延迟低于40毫秒的实时模型运行。

这可能催生创业者在媒体娱乐、物理AI及机器人等领域开发新一代交互式AI应用。

Reactor此前获得了由Lightspeed Venture Partners领投，WndrCo、Amplify Partners、Sky9 Capital、FPV Ventures等参投的5900万美元种子轮和A轮融资。近日，它又获得了NVIDIA与Sapphire Ventures的A轮追加融资，总融资额达到7400万美元。

世界与视频模型迈向实时交互，对基础设施提出新需求

技术变革首先出现在模型端。Google DeepMind的Genie 3能以24 FPS的帧率生成720p交互式世界；StreamDiT在单张H100上实现了16 FPS的文生视频。阿里、腾讯，包括NVIDIA也发布了交互式视频模型或世界模型。

在生成式多模态模型发展的早期，它生成的是静态、被动的内容，大家都有过用提示词批量“抽卡”的经历。

但交互式视频模型，尤其是可交互的世界模型出现后，模型的形态发生了变化。这些模型本质上是经过学习的物理引擎。通过观察数十亿个样本，它们内化了底层物理规律，从而“懂得”火会蔓延、水会溅起、金属受击会凹陷。用户置身于环境中操作，模型则以逐帧形式实时反馈。

新形态的模型也催生了新形态的应用，实时视频、游戏及数字人领域涌现出大量新的交互形态。

模型对基础设施的要求变了，但支撑这些模型在生产环境中运行的基础设施却未能同步跟上。原有基础设施是为批处理需求构建的，其底层架构与实时推理所需的基础设施有根本性差异。

实时推理所需的基础设施：需在多次交互中保持状态持久化，具备低于50毫秒延迟（此前行业平均延迟普遍超过400毫秒）的双向流式传输能力，支持实时控制输入处理，并具备在数千个生成帧中保持一致性的会话编排能力。

算力需求也随之指数级增长。以前用提示词“抽卡”模型，每次生成内容只需运行一次；而交互式世界模型和视频模型在每次会话的每一秒都在不间断运行。

因此，推理需求的增长不再取决于请求次数，而是与用户的参与时长直接挂钩。用户在世界模型中停留的每一分钟，都对应着一分钟的GPU实时计算。这意味着，无论最终哪家模型或哪类应用场景胜出，底层的服务层都将直接享受该赛道增长带来的红利。

构建一个实时生成式视频推理平台是Reactor的切入点，这一需求源于Reactor创始团队对范式转换的敏锐洞察。

Reactor由Alberto Taiuti（CEO）和Bryce Schmidtchen（CTO）共同创立，两人此前均曾担任Apple Vision Pro的技术负责人。Taiuti此前还是Luma AI的联合创始人兼CTO，曾为这家3D与视频生成独角兽搭建底层基础设施。Bryce Schmidtchen则在Apple工作了7-8年，参与了visionOS软件的构建。

Reactor由Alberto Taiuti和Bryce Schmidtchen共同创立，图片来源：Reactor

其团队还汇聚了来自Apple、Netflix、Meta、Google、Adobe、Replicate及Microsoft的工程师与研究人员，在图形学、实时系统、交互式媒体及扩展AI基础设施方面拥有深厚经验。

在Luma AI的经历让Alberto Taiuti看到了模型研发与投入生产之间的鸿沟：研究团队将全部精力投入模型训练，导致他们没有多余资源和时间思考如何在大规模环境下运行这些模型进行推理。

当两位创始人在Apple Vision Pro团队构建产品时，他们思考：如何让模型在端侧的极低功耗限制下优化，如何确保它们能在10毫秒以内的延迟下以交互帧率运行。他们擅长对“将极其庞大的系统塞进极小空间”这种极端工程条件进行优化。

过往经历让他们意识到，当多模态模型及应用需求爆发时，需要一个平台去填补模型研发与投入生产之间的鸿沟。

当他们真正动手去做时，发现从底层的推理层、GPU云架构、流媒体和网络层，一直到开发者体验、API设计，乃至整个系统的架构模式，多模态模型推理的每一个环节，从底层到顶层，都与大语言模型有本质区别。

Reactor构建的平台：底层是按需调度的全球GPU云，中间是针对视频和世界模型低延迟推理优化的自研推理引擎，上层再接入低延迟流式传输，将模型输出以实时视频流方式返回给应用。

这个平台能让开发者与企业以60FPS以上帧率及低于40毫秒的延迟运行模型。这一切均可通过统一SDK和API实现，从而屏蔽了大规模部署与扩展这些系统的复杂性。

为了达到这种性能，Reactor团队必须重新思考机器学习系统的诸多细节：如何进行内核级优化，如何设计云端控制平面。甚至需要将模型进行机器学习层面的改进、定制CUDA代码及Torch优化，转化为达到生产级可用标准的模型。

一个实际例子是，Reactor与AWS Neuron Science团队合作，将实时自回归扩散视频模型部署到AWS自研AI芯片Trainium上。

与普通视频生成不同，运行实时交互类视频或世界模型的系统，其瓶颈不只在算力本身，还包括视频帧位置计算、注意力计算、缓存复制、显存占用和解码等环节。

双方通过Neuron Kernel Interface对底层计算进行重写和融合：例如将原本需要约5秒的3D-RoPE位置编码计算压缩到1.8毫秒，将每层约23毫秒的缓存复制降至1.9毫秒，并将原本容易爆显存的流程控制在11GB HBM内运行。最终，团队在单颗Trainium2芯片上跑通了实时视频生成。

Reactor平台上已汇集了一批可实时运行的视频模型和世界模型。其中既有实时世界模型，也有支持动作控制的世界生成模型；还提供带同步音频的实时视频模型，以及面向视频编辑、数字人、直播生成和无限视频流的模型。其中很大一部分来自中国的开源模型。

当基础设施平台实现实时推理，将解锁新应用创业机会

Reactor现已在媒体与娱乐行业投入使用，好莱坞主流制片厂、广告平台及视频流媒体服务商均在Reactor平台上推进活跃项目。

图片来源：Reactor

其创始人在博客访谈中分享了用户如何利用交互式视频构建应用的例子。例如，在教育方面，如果想向AI了解一个事情，相比读一段文字，实时视频演示显然是更好的方式。已有不少创业公司使用Reactor构建教育应用。

AI视频剪辑应用将解锁准专业级应用。用户在修改视频时，可以立刻看到效果，无需为了看一个修改效果干等5分钟（如果在PS里做一个修改，然后需要等5分钟，那它就没法用）。

可交互的影视游戏，拥有电影级画质，同时用户又能进行实时控制和引导，开启了全新媒介——电影与游戏的混合体。

最后是广告营销：当用户在看电影或其他内容时，系统能够极其巧妙地植入一条专门针对用户生成的个性化广告。

物理AI与机器人技术是Reactor另一个自然应用场景。随着机器人策略与世界模型变得愈发强大，许多模型所需的算力已远超机器人或自主系统本身所能承载的极限。Reactor能够在云端运行这些模型，同时在模型与物理系统之间实时传输观察结果与动作指令。

Reactor还能将世界模型作为闭环仿真环境运行，使机器人策略能够在逼真且具备响应能力的生成世界中进行训练与评估，而无需完全依赖物理机器人或手工搭建的模拟器。无论是开源模型还是客户专属的私有化系统，团队均可使用Reactor来部署、评估并训练机器人策略与世界模型，无需自行搭建低延迟推理基础设施。

以上这些应用能够成立的前提有两个：交互类视频生成和世界模型逐渐成熟，以及有一个稳定、能实时推理这些模型的平台。模型和基础设施的共同变革，解锁了应用端的新可能性。

要打造这种新型基础设施，对创始人要求不低：既要懂得应用端和模型端的需求，又要有搭建和克服基础设施问题的经验。这样的创始人更可能发现和解决新问题。

而在这种NeoCloud方向创业，模型的进步、芯片的技术突破、新形态的应用，对于他们都是好事。因为它处于整个生态系统的基础层，生态的发展能带动它的发展。

而它的护城河，可能不仅是规模、算力储备和技术，更是提供给开发者和客户的极致体验。它是包含核心技术在内的综合能力，创始人应将其作为产品来打造，而非仅作为技术。在构建此类平台时，雷竞技入口的概念也值得关注，它强调了在竞争环境中抢占先机的重要性。本文来自微信公众号“阿尔法公社”（ID：alphastartups），作者：发现非凡创业者的，36氪经授权发布。