【脑洞篇】猴与机器人的修行之路
注：本篇文章纯属个人脑洞，仅供娱乐。
最近双十一新买了一条可以放手机的运动裤，终于在跑步的时候可以听一些播客了。偶然在 《无人知晓》 播客上听到了 Bennett 将大脑演化概括为五次关键突破 的理论，还专门兴致勃勃定制了一个针对不同脑区的锻炼计划（虽然也没锻炼）。今天在看卧安的具身模型 OneModel 1.7 FrontoStria-RL 的介绍，突然感觉这名字 FrontoStria（前额叶-纹状体） 和猴的进化史也没啥区别？
猴的进化史，大脑演化的五次关键突破
Bennett 在 2023 年出版的《A Brief History of Intelligence》中，将进化神经科学、比较心理学和人工智能联系起来，尝试解释过去约六亿年中智能如何演化，。 将大脑演化概括为 Steering(导向) → Reinforcing（强化学习） → Simulating（心智模拟） → Mentalizing（心智理解） → Speaking（语言交流） 五次关键突破。 强调智能的演化，本质上是不断扩展生命体获取信息、学习经验、预测未来和协作的能力。
五次突破都突破了什么？
| 智能突破 | 主要演化阶段 | 新获得的能力 | 解决的核心问题 |
|---|---|---|---|
| ① Steering 导向 | 早期两侧对称动物 | 根据环境刺激调整行动 | 我应该往哪里去？ |
| ② Reinforcing 强化 | 早期脊椎动物 | 通过奖励与惩罚学习 | 哪种行为值得重复？ |
| ③ Simulating 模拟 | 早期哺乳动物 | 在脑中模拟可能发生的事情 | 能否不实际尝试，就预判结果？ |
| ④ Mentalizing 心智理解 | 早期灵长类动物 | 理解自身与其他个体的心理状态 | 其他个体知道什么、想做什么？ |
| ⑤ Speaking 语言 | 人类祖先 | 通过语言共享复杂知识 | 如何跨个体、跨世代积累知识？ |
① Steering：从被动反应到主动行动
第一次突破：根据外界刺激调整行为，趋利避害。智能首先服务于身体运动和生存。
两侧对称动物（Bilateria）：约 5.5 亿年前出现的动物类群，身体左右对称，是所有脊椎动物的共同祖先。 它能够感知化学物质浓度，并据此调整运动方向：
- 食物气味增强，继续向前。
- 危险刺激增强，改变方向。
- 环境变得不利，尝试其他路线。
② Reinforcing：从固定反应到经验学习
第二次突破：根据行动结果学习。成功的行为被强化，失败的行为得到抑制。
例如，一条鱼第一次经过某条路线时获得了食物。 之后再次遇到类似环境，它更倾向于选择这条路线。 反过来，如果某个行动反复带来危险，它就会降低再次采取该行动的概率。
多巴胺系统与奖励预测误差密切相关。类似于巴普洛夫的狗，听到敲盆声会流口水。
例如：预期能够获得食物，但最终没有获得。这种预期与实际结果之间的差异，可以成为更新行为策略的学习信号。
这也暗示了一下 OneModel 1.7 FrontoStria-RL 这个名字的主要工作空间，后面会详细编一下。bty，“RL”的全称 Reinforcement Learning 强化学习。
③ Simulating：从真实试错到脑中预演
第三次突破：在内部模拟未来可能发生的情况，不必每次都真正行动才能学习。
假设动物面前有两条路线。第一条路线较短，但可能存在危险。第二条路线较长，却可能更加安全。如果只能通过真实行动学习，它需要实际尝试才能知道结果。但如果拥有内部模拟能力，就可以在脑中预演：
“如果选择第一条路线，可能遇到什么？” “如果选择第二条路线，又可能发生什么？”
这种能力带来了几个重要的认知变化。
- 第一，经验不再只用于重复行为，而可以用于构建情境。过去的经验可以组合成新的可能性。
- 第二，学习不再完全依赖真实试错。个体能够在行动之前比较候选方案。
- 第三，未来成为可以被思考的对象。规划、想象和反事实推理因此变得更加复杂。
Bennett 将这种能力与哺乳动物大脑中的海马体、新皮层及相关神经网络联系起来。
这里推荐看 硅谷101 《让人类交出方向盘：特斯拉FSD十三年的冒险、争议与进化》
④ Mentalizing：从理解世界到理解其他心智
第四次突破：理解其他个体的意图与认知状态，使复杂观察学习和社会协作成为可能。
Mentalizing 增加了一个维度：
“如果我是对方，我会怎么想？”
例如：一只灵长类动物发现食物，但旁边还有一个等级更高的同伴。它可能需要判断：
- 对方是否看到了食物？
- 对方是否知道自己发现了食物？
- 对方下一步可能采取什么行动？
- 自己应该如何调整行为？
这是社会性智能的重要基础。
但 Mentalizing 并不意味着人类总能准确理解他人。事实上，我们经常错误地推断他人的意图（这点我觉得AI依旧难以突破）。
⑤ Speaking：从个体智能到集体知识
第五次突破：通过语言交换和积累经验，使知识不再局限于个体亲身经历。
可能几年之后，AI就可以完美的解决语言问题，文字不再是文化壁垒，转而去追求真正的“知识”，期待这一天的到来～
五次突破映射到 OneModel 模型技术架构
注：纯脑洞，仅供参考
| Bennett 阶段 | 学习主要依赖什么？ | 新增的认知自由度 | OneModel 1.7 对应技术与能力 |
|---|---|---|---|
| 1. Steering（导向） | 当前环境刺激与身体状态 | 能根据感知调整行动方向 | Observation + Action Expert：视觉观测驱动动作策略，结合 Flow Matching、MCF-Proto 和 Action Chunk 生成可执行动作 |
| 2. Reinforcing（强化） | 自身行动结果与奖励反馈 | 能利用过去经验改善未来行为 | RL + Success Memory：RL 通过任务反馈优化策略；Success Memory 检索并复用成功经验，后者不需要更新模型参数 |
| 3. Simulating（模拟） | 对环境变化和行动后果的内部预测 | 能在实际行动前利用预测进行决策 | World Model + Predictive Policy Latent：学习环境与动作后果相关的预测性表征，并用于调制动作策略；完整反事实规划能力尚待验证 |
| 4. Mentalizing（心智化） | 对其他个体行为、意图、知识及心理状态的推断 | 能利用对他者心理状态的理解进行社会学习与协作 | 暂无明确对应的完整机制：示范学习与 Understand Expert 具有部分相关功能，但不能证明模型能够推断他者信念或知识状态 |
| 5. Speaking（语言） | 通过语言获得、组合和传递的知识 | 能跨时间、空间和个体利用知识 | Instruction + Understand Expert + Skill：理解语言指令、拆解任务并复用已有技能；通过语言获得全新可执行知识的能力尚未充分验证 |
- 依据 OneModel 官方披露的 RL-LWAM 模块职责 chatgpt 整理
「前额叶—纹状体」的命名
FrontoStria 来自 Frontostriatal（额叶—纹状体）回路。 在大脑中：
- 前额叶皮层（Prefrontal Cortex, PFC） 与目标保持、执行控制、工作记忆、策略调整等功能密切相关。
- 纹状体（Striatum） 参与动作价值学习、行为选择、习惯形成与强化学习。
- 皮层—基底节—丘脑回路 将这些功能组织为相互反馈的神经网络。
2022 年发表于 Neuropsychopharmacology 的综述《Reinforcement-learning in fronto-striatal circuits》系统讨论了这一回路在状态表征、价值学习、行动选择以及不同强化学习策略协调中的作用。需要注意，大脑并非简单地由前额叶发出命令、纹状体负责执行。两者都参与决策，功能高度分布式，且回路涉及更多脑区。
用一个简化的功能类比来看：
前额叶相关功能
维持目标 · 选择策略 · 认知控制
⥮
纹状体相关功能
价值学习 · 行为选择 · 动作强化
⥮
身体动作与环境反馈
执行行动 · 获得反馈 · 更新策略
OneModel 官方将这一思想转化为高层环境理解、技能调度、动作策略及强化学习之间的潜在连接。它称之为 Latent Frontostriatal Policy Loop。
如何让大脑的多巴胺与结果之间建立相关性，设置强化学习的「奖励函数」就显得尤为重要了。 那么如何写这种奖励函数呢？就进入到脑洞时刻「机器人的修行之路」,如何获得「涅槃」？
机器人的修行之路，RL智能系统
脑洞的起源来自于最近听到的佛经相关四圣谛（苦集灭谛）的内容，然后觉得和做产品是一个思路发现问题、整理问题、解决问题、开花结果。最近时不时就混搭测试一下。
以下内容为从ChatGPT摘抄整理的脑洞扩展
戒、定、慧是修行的三个大类；八正道则把这些训练展开为八个相互配合的方面。 它们属于同一条通向解脱的道路。 传统的对应关系是：
| 三学 | 八正道 | 主要训练 |
|---|---|---|
| 慧学 | 正见、正思惟 | 看清苦及其原因，培养离贪、无嗔、不害的意向 |
| 戒学 | 正语、正业、正命 | 调整言语、行为与谋生方式，减少伤害 |
| 定学 | 正精进、正念、正定 | 培养善的心理状态，使心清醒、稳定、集中 |
用八正道构建强化学习的奖励函数设计框架
八正道与奖励函数设计的对应关系
| 三学 | 八正道 | RL 中需要解决的问题 | 建议采用的工程机制 |
|---|---|---|---|
| 慧学 | 正见 | 目标是否定义正确？奖励是否代表真正的成功？ | Reward Specification、独立成功指标、奖励漏洞测试 |
| 慧学 | 正思惟 | 策略是否朝着正确的行为意图优化？ | Goal Conditioning、偏好与意图建模、任务风险识别 |
| 戒学 | 正语 | 语言交互、状态报告和反馈是否真实？ | 事实一致性检查、可核验的执行报告 |
| 戒学 | 正业 | 是否存在不能以奖励交换的危险行为？ | Constrained RL、Safety Shield、Action Gating |
| 戒学 | 正命 | 机器人是否被部署在恰当的用途与工作流程中？ | Task Authorization、任务级约束、人工审批 |
| 定学 | 正精进 | 如何利用反馈改进策略，减少不良行为？ | RL、Reward Shaping、失败数据学习 |
| 定学 | 正念 | 是否持续观察状态、识别偏差和不确定性？ | State Monitoring、Uncertainty Estimation、Feedback |
| 定学 | 正定 | 能否在干扰下保持目标与策略的稳定？ | Hierarchical Policy、Temporal Consistency、滚动规划 |
函数设计框架
慧学：目标与评价审查
正见、正思惟：成功定义是否正确？奖励是否可能被投机？
↓
戒学：任务授权 + 行动安全约束
正语、正业、正命：哪些目标和行动不可接受？
↓
定学：反馈学习与稳定控制
正精进、正念、正定：如何在变化环境中持续优化？
↓
Reward Function：任务奖励
只奖励可验证的任务成果，必要时使用合理的进展奖励
案例：用八正道设计机械臂的奖励系统
假设机器人任务是：拿起一个装有液体的杯子，放到指定区域。
| 八正道 | 可操作的设计要求 | 如何验证 | |
|---|---|---|---|
| 正见 | 真正成功是杯子被稳定放置，而非仅仅触碰目标位置 | 位置、姿态与稳定性检测 | |
| 正思惟 | 不为缩短时间而采取明显不必要的冒险策略 | 候选轨迹风险评价 | |
| 正语 | 不得虚报任务完成或隐瞒失败 | 传感器确认与执行报告一致性 | |
| 正业 | 不允许危险碰撞、接触力超限 | 安全监控、动作限制与急停 | |
| 正命 | 仅执行已授权的物体转移任务 | 任务授权与场景权限检查 | |
| 正精进 | 通过反馈减少掉落和抓取失败 | 失败率、样本效率变化 | |
| 正念 | 持续检测杯子位置、倾斜角度和抓取状态 | 状态估计误差、异常检测召回率 | |
| 正定 | 遇到轻微干扰时保持任务连续性，必要时安全重规划 | 完成率、无谓策略切换次数 |
蛮奇妙的，可能世界很多东西不是创造的，而是被发现的，主打套上模版又是一个新故事😅