导读： 阿里最新开源的项目 ROCK，瞄准了智能体训练中最棘手的问题——缺乏可扩展、可标准化的真实交互环境。过去，开发者在训练复杂任务时常常需要手工搭建环境：配置依赖、调试状态、处理兼容性等，一系列工程工作让大规模训练难以推进。而ROCK的目标，是把“训练场”也做成一种标准化资源：一键部署、自动扩缩、可监控...

阿里最新开源的项目 ROCK，瞄准了智能体训练中最棘手的问题——缺乏可扩展、可标准化的真实交互环境。

过去，开发者在训练复杂任务时常常需要手工搭建环境：配置依赖、调试状态、处理兼容性等，一系列工程工作让大规模训练难以推进。而ROCK的目标，是把“训练场”也做成一种标准化资源：一键部署、自动扩缩、可监控、可调试。

这意味着，开发者第一次可以在不“手搓环境”的情况下训练Agent，让环境也像模型一样可规模化扩展。

与此同时，它和阿里此前开源的强化学习训练框架 ROLL 形成了强强组合：

• ROLL 专注训练策略（RL框架、算法、分布式优化）
• ROCK 负责提供训练环境（环境管理、状态维护、弹性调度）

两者互补，构成了智能体训练的算法引擎 + 环境燃料闭环，解决了长久以来阻碍智能体训练链路的核心难题。

为什么环境服务是智能体进化的关键缺口？

大型语言模型正在从“语言工具”进化成“可与外界交互的智能体”——能运行代码、调API、填表格、浏览网页、操作软件。

这类模型要真正领先，就必须在真实环境中接受成千上万次交互训练。

然而，真正能支撑数万并发环境实例的系统极其复杂，往往会变成训练流程的最大瓶颈。

一个高质量的环境系统必须：

• 支撑数千到数万独立实例并发运行

• 提供毫秒级的反馈

• 能够复现、回溯、重置任意状态

• 接入不同类型的任务（网页、代码、工具链、多轮交互）

• 在长时间运行中保持稳定

这写条件对大多数团队来说难度过高。而阿里推出 ROCK，就是为了解决这一行业共性难题。

ROLL 构建在 Ray 之上，面向大模型的规模化 RL 训练，提供了从小规模实验到大规模生产训练的全套能力：

• 支持数学、推理、代码等多任务混合训练

• 支持多轮对话、工具调用、代码执行等多步决策训练

• 深度集成Megatron-Core、DeepSpeed等框架，支持多维并行

• 提供异步推理、异步训练和高效的样本管理机制

• 使用极简的通用接口 GEM（reset/step），让环境适配更轻量

ROLL本质是一台高性能训练发动机。但要运行发动机，必须有充足、稳定、可扩展的环境作为燃料——这正是ROCK的使命。

把智能体训练环境做成可扩展的“工厂系统”

ROCK（Reinforcement Open Construction Kit）定位明确：用工程化方式解决环境规模瓶颈。

依托 Ray，ROCK 可以把底层资源抽象成一个统一的环境资源池，其中包括：

• 修改配置即可在几分钟内启动成千上万的并行环境

• 同时支持同构和异构环境在一套集群中混跑

这大幅降低了 Agent 训练从单机实验到集群规模之间的门槛。

传统的分布式环境很难调试，而 ROCK 支持通过 SDK 或 HTTP API 远程交互，并可查看环境文件系统、运行日志、进程状态。除此之外还能实时修改环境变量、控制环境行为。

ROCK 还设计了三种使用模式，包括：

• 本地独立环境：快速验证依赖、测试环境行为

• 本地集成调试：与ROLL对接，测试完整链路

• 云端规模化部署：无需改代码，自动扩展到成千上万实例

Rock & Roll，两者配合，形成了一套面向智能体时代的训练闭环，让流程变得可复制、可扩展、可工业化。Roll 提供大规模RL训练引擎，让模型学会正确决策；ROCK 提供可扩展、多环境的训练场，让交互数据更稳定。

无论是研究人员、系统架构师，还是独立开发者，这套工具链都是迈向 Agentic AI 时代的关键基建。

参考资料：

//www.jiqiren.org.cn/upload/2025/pp style="-webkit-tap-highlight-color: transparent; margin-top: 0px; margin-bottom: 0px; padding: 8px 0px; outline: 0px; max-width: 100%; clear: both; min-height: 1em; text-indent: 2em; text-wrap-mode: wrap; background-color: rgb(255, 255, 255); color: rgb(53, 53, 53); line-height: 1.8em; letter-spacing: 0.04em; box-sizing: border-box !important; overflow-wrap: break-word !important;">https://alibaba.github.io/ROCK/docs/Getting%20Started/rockroll/

https://github.com/alibaba/ROCK