Rl on 柏炎的技术笔记https://iseekyan.github.io/zh/tags/rl/Recent content in Rl on 柏炎的技术笔记Hugozh-cnMon, 18 May 2026 21:50:00 +0800让长序列 MoE RL 训练更好调：Megatron-Lite / bumblebee 的优化实践https://iseekyan.github.io/zh/posts/qwen35-long-sequence-moe-rl/Mon, 18 May 2026 21:50:00 +0800https://iseekyan.github.io/zh/posts/qwen35-long-sequence-moe-rl/<p>长序列训练不只出现在 pretrain。进入 RL 阶段以后，prompt、rollout、reward、工具调用和多轮交互都会把上下文长度拉高。很多团队关心的问题也随之变化：他们需要用较少启动卡数，稳定跑通 128K、256K，甚至更长上下文的算法实验。</p>