Mosaic：面向上下文压缩与子代理分叉的多会话智能体强化学习方法

Mosaic: Multi-Session Agentic Reinforcement Learning

作者（6 位）

Yilong Xu, Minrui Xu, Xinyu Zhou, Xiang Long, Haochen Tan, Zhijiang Guo

2026-10-15

Mosaic 提出多会话智能体 RL 设定，以无评论家分层优势估计替代简单的轨迹优势广播，在 BrowseComp 上以更少会话数获得最高准确率。

背景

现有智能体强化学习大多假设单会话轨迹：一次 rollout 在连续累积的上下文内完成，产生单一训练段。然而上下文压缩（重写前缀以释放上下文空间）与子代理分叉（委派子任务产生分支会话）使轨迹跨多个会话执行，与训练假设产生失配。简单做法是把轨迹级优势广播到所有会话的每个 token，但该方法监督粗糙，无法区分各会话贡献。为此论文提出多会话智能体 RL 设定，并给出 Mosaic 方法。

创新点

形式化多会话智能体 RL 设定，将轨迹表示为任意数量会话的集合，支持上下文压缩与子代理分叉两类推理机制的统一优化。
提出会话感知的轨迹级优势估计：按成败分组内会话数的居中排名调制优势，满足成功少会话优先、失败多会话探索的排序约束，并对同质奖励组设计回退信号。
提出会话级优势整形：以正确答案似然的边际信息增益作为会话即时奖励，按会话类型分组归一化，并与轨迹级优势叠加，构成无评论家分层优化目标。
在 BrowseComp 上以 Qwen3.5-4B 验证：相比广播基线准确率最高相对提升 10.1%，平均会话数由 3.17 降至 2.35，并系统分析了会话效用与分配模式。

方法

轨迹建模：轨迹 $τ_{i} = {s_{i, j}}_{j = 1}^{N_{i}}$ 由 $N_{i}$ 个会话组成；广播基线令所有会话与 token 共享同一轨迹级优势 ${\hat{A}}_{i}^{traj}$ ，训练时按 token 数加权聚合成轨迹级目标。
会话感知优势：在成败子组内将会话数 $N_{i}$ 映射为居中排名 $u_{i} = 2 f (N_{i}) - 1 \in [- 1, 1]$ ，以 $α_{i}^{session} = - ρ u_{i}$ 做乘性调制 ${\hat{A}}_{i}^{sat} = (1 - ρ u_{i}) {\hat{A}}_{i}^{traj}$ ， $0 \leq ρ < 1$ 保证不改变符号、满足 C1–C3 排序。
同质奖励回退：全成功组用 $- β_{1} u_{i}$ 、全失败组用 $β_{0} min (u_{i}, 0)$ 提供差异化信号；附录 A 证明该设计相对加性修正更稳健，避免会话信号反转结果方向。
会话级整形：定义状态势 $Φ_{\bar{θ}} (y^{*} | x, v)$ 为给定前缀 $v$ 下正确答案的平均对数似然，会话边际信息增益 $r_{i, j}^{Δ} = Φ (v_{i, j}) - Φ (v_{i, j - 1})$ （stopgrad）。
类型条件归一化：按会话类型（normal、compact、subagent）在组内分别标准化 ${\hat{r}}_{i, j}$ ，末会话置零以避免最终答案干扰；叠加为 ${\hat{A}}_{i, j}^{session} = {\hat{A}}_{i}^{traj} + λ_{r} {\hat{r}}_{i, j}$ 。
门控机制：全失败组抑制正整形信号（ $r_{s} \leftarrow min (r_{s}, 0)$ ），方向保持门在修正会反转基优势符号时将其置零，保证局部信号不主导结果导向优化。

实验

设置：BrowseComp（1266 题）+ REDSearcher_RL_1k 训练集，Qwen3.5-4B 基座、ReAct 循环、search/visit 工具、deepseek-v4-flash 作评判，单会话上限 128K token，batch 16×组大小 8，超参 $ρ = 0.2, β_{0} = 0.1, β_{1} = 0.2, λ_{r} = 0.1$ 。
主结果（RQ1）：压缩场景 Mosaic 38.86% vs 广播 35.31%，会话数 2.35 vs 3.17；子代理场景 32.46% vs 31.44%；均优于单会话 GRPO 与 IGPO，且边际增益计算墙钟时间大幅降低。
消融（RQ2）：轨迹级会话感知估计与会话级整形各自均有贡献，两者结合在压缩场景增益明显、子代理场景增益较小，作者归因于子代理轨迹的非线性 DAG 结构。
机制分析（RQ3）：成功轨迹优势随会话数下降、失败轨迹上升且成功仍高于失败；类型条件归一化消除了全局归一化对压缩会话的系统性低估偏差。
RQ4：Mosaic 在不增加会话数的同时提升 Positive-IG（59.92% vs 47.74%）与 IG/Session，表明性能提升来自会话效用与分配改善而非会话数量增长。

局限

作者指出：公开的多会话训练数据稀缺，限制了实验规模与可复现性，需要开放数据集与执行环境。
作者指出：会话数仅是代理信号，与探索强度或执行成本并无内在联系；且推理时模型无法预知轨迹总会话数与成败。
作者指出：子代理轨迹呈非线性 DAG 结构，会话的边际增益即时奖励可能与其实际最终贡献不符。
作者指出：多会话 rollout 在异步/部分 rollout 训练下会放大轨迹长度差异、策略陈旧与组内比较有偏等问题，本文采用共置同步设置回避了该挑战。
仅在一个基准（BrowseComp）与一个 4B 基座模型上验证，结论向更大模型、更多任务及黑盒 agent harness 的泛化性尚待确认。（解读者观点）
边际信息增益依赖可获取的标准答案似然，在无明确 ground-truth 或开放式任务上难以直接适用。（解读者观点）

AI 依据论文正文生成，经人工审核；数字与结论以原文为准。