研究路线约 6 分钟阅读
问题 · 假设 · 验证路径
本页是 Health4All 在 Evolutionary AI / Learning × Simulation 方向上的起步记录。 区别于 /agents/ 那边的"已经在跑的真实工程",这里大部分是 计划中的研究路径 ,少部分已经在 toy 实验阶段。
本页是 Health4All 在 Evolutionary AI / Learning × Simulation 方向上的起步记录。
区别于 /agents/ 那边的"已经在跑的真实工程",这里大部分是计划中的研究路径,少部分已经在 toy 实验阶段。
核心假设(待跑通):在一个结构足够丰富的仿真环境里,学习算法(ES / RL / PBT / Neuroevolution)+ 大模型决策器有可能训出能在开放世界里自我维持的 agent。
“虚拟世界生存算法"是这条路径的目标命名。
三个交叉点
我的工作分三层,每层都需要算法与工程的共同推进:
| 层 | 在做什么 | 现在的位置 |
|---|---|---|
| 仿真环境 | UE5 开放世界(参考 CitySample/Twin 范式)、物理 + 经济 + 任务三层耦合 | 已有 fde-digital-twin 项目骨架,Three.js 评估过,UE5 待正式跑通 |
| 学习算法 | ES / RL / PBT / Neuroevolution 任一族,在仿真里训策略 | 仅 toy 实验;未在仿真环境里闭环 |
| 大模型决策器 | LLM 给出高层意图或任务编排,底层 RL/ES agent 实时执行 | 与 /agents/ 的 mhts v5 共享协议栈,但未与仿真集成 |
我关注的子方向
按"我目前认为最值得做"排序(不代表其他人):
未启动
1. Neuroevolution for Agent Learning in UE5 Open World
问题:UE 仿真里训 agent,reward 稀疏、状态空间大、样本效率低。
猜想:固定拓扑 + 进化策略(ES / CMA-ES) + 部分权重共享,可能比纯 PPO 更稳。
状态:未启动。先要 UE5 仿真环境能 headless 跑、可重复 seed、能 export 状态。
起点:DeepMind Deep Neuroevolution (2018) 系列 + Such et al. 2017 NE for DL。
风险:UE5 headless GPU 成本可能远超预期(HX-100 单卡跑不动全场景)。
架构层设计阶段
2. Population-Based Training (PBT) + LLM Decision Layer
问题:LLM 给"做什么”,PBT 同时演化"用什么网络架构 + 怎么优化"。
猜想:LLM 作为任务生成器 / 调度器,PBT 作为底层策略搜索器——两者解耦。
状态:架构层设计阶段;还没接到仿真。
起点:Jaderberg et al. Population Based Training of Neural Networks (DeepMind 2017)。
与 /agents/ 的连接:LLM 的 Tool Use 协议(mhts v5 已落地)可以承担"任务生成"角色。
概念阶段
3. Open-ended Learning(POET 风格)
问题:如何让环境自动产生新挑战,让 agent 持续演化而不是过拟合一个固定环境。
猜想:LLM 作为环境生成器(描述新关卡),ES 作为适应器;POET-style 双层优化。
状态:概念阶段。
起点:Wang et al. POET: Open-Ended Coevolution of Environments and their Optimized Solutions (2019)。
4. Evolution Strategies vs. RL(取舍表)
为什么 ES 可能赢过 PPO:黑盒、并行友好、无需可微、对 reward 噪声更鲁棒。
为什么 ES 可能输给 PPO:样本效率(梯度信息 vs 随机扰动)。
我的判断:仿真里如果样本便宜、环境可重置 → ES/CMA-ES 优先;样本贵、长 horizon → PPO/SAC 优先。未实测。
未启动 (项目里没有 GA 任务需求)
5. 遗传算法(GA)与现代应用
当前关注点:多目标优化(NSGA-II / NSGA-III)、约束处理、组合优化(网络结构搜索)。
状态:未启动(项目里没有 GA 任务需求)。
起点:Deb et al. NSGA-II 论文 + pymoo 库。
入门资源(我自己读的/想读的)
- Evolutionary Computation (Bäck et al.) — 系统综述(还在读)
- Neuroevolution: A different kind of deep learning (Such et al., 2017)— 第一篇读完后立刻想跑
- Deep Neuroevolution (DeepMind 系列,2018-)— PBT 起源
- POET (Wang et al., 2019)— open-ended 方向必读
- Algorithms for Optimization (Kochenderfer & Wheeler, MIT Press)— 当工具书查
pymoo(多目标 GA 库)— 计划用cma-esPython lib— 计划用
未来 6 个月想跑通的一件事
目标:在 UE5 仿真环境里,用 ES 或 PBT 训一个 agent,能在最小化的"生存场景"(找食物 / 避危险 / 利用资源)里跑出比 random baseline 显著好的策略。
判定标准:单一指标(如 survival time / cumulative reward)在 random baseline 之上 ≥ 1σ,且 5 个 seed 平均。
失败判定:训不出来/不可重复 → 我会写一篇 Lessons learned from a failed evolution experiment。
上面所有"猜想 / 起点 / 计划" — 我会在跑过之后回来更新这一页。
这是公开承诺,不是目标设定。跑了再说。
与本站其他 section 的连接
/agents/:LLM Tool Use 协议 + Temporal 工作流 = 这边"大模型决策层"的工程基座/writing/:未来第一篇长文候选 — “ES vs PPO 在 UE5 仿真里的对照实验”/dt-demo/:UE5 demo 是仿真环境的具象化入口(目前是空 stub)