論文の概要: One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control
- arxiv url: http://arxiv.org/abs/2609.06469v1
- Date: Sun, 06 Sep 2026 08:32:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.25391
- Title: One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control
- Title（参考訳）: 1ステップ,1リード:クロスステップ制御によるマルチドメイン強化学習における高次干渉の軽減
- Abstract要約: 同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
- 参考スコア（独自算出の注目度）: 62.82372407840088
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) across multiple domains can broaden the reasoning capabilities of large language models (LLMs), yet joint training often degrades individual-domain performance and can destabilize optimization. Existing work typically diagnoses such interference from a single-step view using first-order gradient alignment or curvature-based proxies. We show that this view can miss a critical form of sequential interference: same-point domain gradients may remain nearly orthogonal even when consecutive realized updates partially reverse one another in output space. We further show that consecutive token log-probability footprints recover this interaction directly from adjacent checkpoints as a local second-order interaction in output space, without explicitly reconstructing same-step curvature. Building on this insight, we propose OSOL, which designates a focus domain at each iteration, uses the preceding checkpoint footprint to rank token-level rebound risk, and applies a drift-ranked, adaptively scaled correction within the standard GRPO update. Our analysis shows that this correction suppresses the targeted cross-step output backtracking component. Controlled studies further show that cross-step backtracking is more strongly associated with subsequent task damage than same-point gradient diagnostics, while the preceding footprint ranks future rebound risk more accurately than Hessian-based proxies. On Qwen3-30B-A3B, OSOL reaches a domain-macro average of 0.4822, improving by 5.7% over the strongest compared baseline, without explicit higher-order differentiation.
- Abstract（参考訳）: 複数のドメインにわたる強化学習(RL)は、大きな言語モデル(LLM)の推論能力を拡張できるが、共同トレーニングは個々のドメインのパフォーマンスを劣化させ、最適化を不安定にすることができる。
既存の研究は通常、一階勾配のアライメントや曲率ベースのプロキシを用いて、一段ビューからのそのような干渉を診断する。
連続的な更新が出力空間内で部分的に逆転しても、同点領域勾配はほぼ直交することがある。
さらに, 連続したトークン対数確率フットプリントにより, 隣接するチェックポイントから直接, 出力空間における局所的な2次相互作用として, 同一ステップの曲率を明示的に再構成することなく, この相互作用を回復することを示す。
この知見に基づいて,各イテレーションにフォーカスドメインを指定し,前回のチェックポイントフットプリントを用いてトークンレベルのリバウンドリスクをランク付けし,標準GRPO更新にドリフトランク,適応スケール補正を適用するOSOLを提案する。
解析の結果,この補正により,対象とするクロスステップ出力のバックトラック成分が抑制されることがわかった。
制御された研究により、後続のタスク障害と後続のタスク障害は同一点勾配診断よりも強く関連していることが示され、前回のフットプリントではヘッセン系プロキシよりも将来のリバウンドリスクがより正確に評価されている。
Qwen3-30B-A3Bでは、OSOLはドメイン-マクロ平均0.4822に達し、高次微分を明示することなく、最強の比較ベースラインよりも5.7%向上した。
関連論文リスト
- Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning [7.885980895039013]
我々は、正しい解決法は国家に依存していると論じ、不確実性に基づく臨界性プロキシに従って粒度が続く批判のない推定器であるGACAを提案する。
GACAは、自己のロールアウトがすでに記録している負のログライクな記録によって各ステップをスコアし、そのスコアで成長するステップ毎の重みと2つのアドバンテージをブレンドする。
ALFWorldとWebShopでは、GACAはGRPOとGiGPOよりも1.5Bと7Bのスケールでタスクの成功を改善する。
論文 参考訳（メタデータ） (2026-09-11T04:19:44Z) - Beyond Uniform Token-Level Trust Region in LLM Reinforcement Learning [14.631835952085263]
本稿では,2つのメカニズムを介して更新を有限水平ポリシー改善境界に整合させるトークンレベルのマスキングルールを提案する。
CPPOはトレーニングの安定性を高め、様々なモデルスケールでの推論精度を大幅に向上させる。
論文 参考訳（メタデータ） (2026-06-09T15:09:29Z) - When Attribution Patching Lies: Diagnosis and a Second-Order Correction [9.338965648455238]
本研究は, 下流ネットワークの非直線性に起因する誤差が, パッチ成分の局所曲率よりも大きいことを示す。
この洞察は、(i)信頼できない見積もりを検出するための信頼性スコア、(ii)エラー境界がポテンシャル属性の誤特定を定量化すること、(iii)Hessian-vector-product correctが1つの後進パスで先行エラーを除去すること、の3つの実用的なツールをもたらす。
論文 参考訳（メタデータ） (2026-06-05T05:20:32Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。
DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。
6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
論文 参考訳（メタデータ） (2026-05-17T07:14:44Z) - AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems [30.172832661173928]
LLMベースのマルチエージェントシステムは、長距離タスクにますますデプロイされている。
単一の決定的なエラーは、しばしば下流のエージェントやカスケードによって軌道レベルの障害として受け入れられる。
我々は,この問題をオンライン監査として再編成するフレームワークであるAgentForesightを紹介した。
論文 参考訳（メタデータ） (2026-05-09T05:55:19Z) - Convergence of Byzantine-Resilient Gradient Tracking via Probabilistic Edge Dropout [1.3902537392439644]
任意の相手メッセージを送信するビザンティンエージェントを用いたネットワーク上での分散最適化について検討する。
確率的エッジドロップアウトと漏洩積分(GT-PD-L)を用いたemphGradient Trackingを提案する。
GT-PD-Lは、盗難攻撃下での座標平均を最大4.3%上回る。
論文 参考訳（メタデータ） (2026-04-01T03:55:42Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。
我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
論文 参考訳（メタデータ） (2025-10-16T05:35:37Z) - BranchGRPO: Stable and Efficient GRPO with Structured Branching in Diffusion Models [57.304411396229035]
BranchGRPOは、ロールアウトプロセスを分岐木に再構成する手法である。
HPDv2.1イメージアライメントでは、BranchGRPOはDanceGRPOよりも最大でtextbf16%のアライメントスコアを改善する。
ハイブリッド版であるBranchGRPO-MixはDanceGRPOよりも4.7倍の速度でトレーニングを加速する。
論文 参考訳（メタデータ） (2025-09-07T12:53:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。