論文の概要: Outcome-Mass Alignment: Controlling Length-Dependent Trajectory Influence in Multi-Turn LLM Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.16816v1
- Date: Thu, 12 Nov 2026 13:52:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.481736
- Title: Outcome-Mass Alignment: Controlling Length-Dependent Trajectory Influence in Multi-Turn LLM Agent Reinforcement Learning
- Title(参考訳): アウトカム・マスアライメント:LLMエージェント強化学習における長さ依存性軌道の影響の制御
- Abstract要約: Outcome-Mass Alignmentは、ユニークなソース軌跡に関する結果統計を計算する。
OMAは一致した水平エンドポイントの成功を7.0-9.4ポイント改善する。
コンポーネントの短縮とGiGPOとGSPOの比較は、コンポーネント分離性とクロスオプティマイザの互換性をサポートする。
- 参考スコア(独自算出の注目度): 18.325909449426103
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To keep long interaction contexts tractable, stepwise group-relative training for multi-turn LLM agents materializes each source trajectory into multiple response rows and valid tokens. This expansion creates an outer-accounting problem distinct from within-trajectory credit assignment: row-based outcome statistics can count one episode outcome multiple times, while token-level reduction can assign unequal aggregate objective mass across trajectories. We term these effects outcome-statistics multiplicity and objective-mass imbalance. We introduce Outcome-Mass Alignment (OMA), a two-component method that makes both accounting choices explicit. Outcome Alignment computes outcome statistics over unique source trajectories, while Mass Alignment controls aggregate objective mass after within-trajectory aggregation of optimizer-native token objectives. Neither redesigns the base optimizer's credit assignment, importance ratios, or clipping. Across matched ALFWorld GRPO comparisons at two model scales, where failed trajectories typically expand much more than successful ones, OMA improves matched-horizon endpoint success by 7.0-9.4 percentage points. Ordinary WebShop exhibits weak or reversed expansion-outcome coupling and correspondingly mixed effects, whereas in a success-oriented WebShop setting, WebShop-SOL, OMA improves success nAUC from 0.399 to 0.511. Component ablations and GiGPO and GSPO comparisons further support component separability and cross-optimizer compatibility. These results show that trajectory expansion always defines an implicit weighting rule, but its practical effect depends on how expansion couples to outcomes and optimizer-native updates.
- Abstract(参考訳): 長時間のインタラクションコンテキストを抽出可能に保つため、マルチターンLDMエージェントに対する段階的にグループ相対的トレーニングは、各ソースの軌跡を複数の応答行と有効なトークンに実体化する。
行ベースの結果統計は1つのエピソードの結果を複数回数えることができ、トークンレベルの削減はトラジェクトリ全体で不平等な集合目標質量を割り当てることができる。
結果統計学の乗法性と客観質量不均衡を両立させる。
両会計の選択を明確にする2成分法である Outcome-Mass Alignment (OMA) を導入する。
Outcome Alignmentは、ユニークなソーストラジェクトリに関する結果統計を計算し、Mass Alignmentは、オプティマイザ-ネイティブトークン目標の軌道内集約後の集合目的質量を制御する。
ベースオプティマイザのクレジット割り当て、重要性の比率、クリッピングは変更されていない。
Across matched ALFWorld GRPO comparisons at two model scale, where failed trajectories are more more more more more more more more more more more more more more more than successful, OMA improves matched-horizon end success by 7.0-9.4 percent。
通常のWebShopは、拡張-アウトカム結合の弱さと相反する混合効果を示すが、成功指向のWebShop設定では、WebShop-SOL、OMAは、nAUCを0.399から0.511に改善する。
コンポーネントの短縮と GiGPO と GSPO の比較は、コンポーネント分離性とクロスオプティマイザの互換性をさらにサポートする。
これらの結果から, 軌道拡大は常に暗黙の重み付け規則を定めているが, その実践的効果は, 結果にどのように対応し, 最適化的な更新を行うかに依存することがわかった。
関連論文リスト
- MM-LeJEPA: Correlated Gaussian Regularization for Multimodal Joint-Embedding Predictive Architectures [50.784615468964176]
LeJEPAは、そのタスク仮定の下で、フィッシャー情報基準を最小化することで、等方的ガウス埋め込みターゲットを導出する。
我々は,LJEPAのタスク仮定をマルチモーダル学習に拡張することでMM-LeJEPAを導入する。
論文 参考訳(メタデータ) (2026-10-17T13:20:43Z) - Training-Free Transformer Merging via Sequential Local Operator Alignment [62.80152875963259]
トレーニングフリーのモデルマージは、ラベル付きデータにさらなる最適化を加えることなく、複数の微調整されたモデルを単一のモデルに組み合わせることを目的としている。
トランスでは、クエリキーと値出力演算子が合成行列に依存するため、個々のレイヤを独立にマージすることは、共有の注意に影響を与える可能性がある。
本稿では,部分的にマージされたモデルの実行経路に沿ってトランスフォーマーをマージするトレーニングフリーな手法であるSequential Local Operator Alignmentを紹介する。
論文 参考訳(メタデータ) (2026-10-05T14:30:28Z) - Dual-Axis Policy Optimization for LLM Agents: Bayesian Feedback Attribution and Trajectory Mass Normalization [28.324951109950366]
BATON(Bayesian Attribution and Trajectory Objective Normalization)は2軸ポリシー最適化フレームワークである。
ALFWorld、WebShop、SearchQAでのGRPOとGiGPOによる実験は、どちらの軸も独立して利得を提供することを示している。
論文 参考訳(メタデータ) (2026-09-17T07:35:02Z) - Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning [7.885980895039013]
我々は、正しい解決法は国家に依存していると論じ、不確実性に基づく臨界性プロキシに従って粒度が続く批判のない推定器であるGACAを提案する。
GACAは、自己のロールアウトがすでに記録している負のログライクな記録によって各ステップをスコアし、そのスコアで成長するステップ毎の重みと2つのアドバンテージをブレンドする。
ALFWorldとWebShopでは、GACAはGRPOとGiGPOよりも1.5Bと7Bのスケールでタスクの成功を改善する。
論文 参考訳(メタデータ) (2026-09-11T04:19:44Z) - SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL [6.238212335422264]
グループ相対強化学習は、同じプロンプトの兄弟ロールアウトを待つ。
トラジェクトリセンタリングは一般的に,アクターが消費するトークン重み付け量を中心にしないことを示す。
また、学習者の受取命令ではなく、それを生成する政策イベントによって、プロンプトエビデンスを整理する。
論文 参考訳(メタデータ) (2026-08-25T17:52:19Z) - Semantic Consistency Policy Optimization for Reinforcement Learning of LLM Agents [45.62262776712415]
グループベース強化学習は、軌道上の結果からステップレベルクレジットを導出することにより、長期的・疎逆的タスクの訓練後エージェントを効果的に活用する。
この矛盾は、競合する勾配を同様のアクションに送信し、失敗するロールアウト内の部分的に正しい進捗を無駄にする。
本稿では,この矛盾を緩和する価値のない報酬形成手法であるセマンティック一貫性ポリシー最適化(SCPO)を提案する。
SCPOは、失敗した各ステップを、成功した兄弟姉妹に対してスコアし、その兄弟姉妹に沿った新しい進歩に対してプラスのステップレベルクレジットを追加する。
論文 参考訳(メタデータ) (2026-06-24T14:02:13Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳(メタデータ) (2026-04-14T09:48:46Z) - TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。
TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。
TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文 参考訳(メタデータ) (2026-03-02T10:38:54Z) - MatchTIR: Fine-Grained Supervision for Tool-Integrated Reasoning via Bipartite Matching [60.886768806064936]
Tool-Integrated Reasoningは、外部ツールのインタラクションと推論ステップをインターリーブすることで、大規模な言語モデルで複雑なタスクに対処することを可能にする。
既存の強化学習法は、結果や軌道レベルの報酬に依存し、軌道内のすべてのステップに一様の利点を割り当てる。
両部間マッチングに基づくターンレベルの報酬割当と二重レベルの優位性推定によるきめ細かい監視を実現するフレームワークであるMatchTIRを提案する。
論文 参考訳(メタデータ) (2026-01-15T18:59:23Z) - ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking [84.07076200941474]
ArenaRLは、ポイントワイドスカラースコアからグループ内相対ランクにシフトする強化学習パラダイムである。
我々は,グループ内対角アリーナを構築し,安定した有利な信号を得るためのトーナメントベースのランキングスキームを考案する。
実験により、ArenaRLは標準のRLベースラインを大幅に上回っていることが示された。
論文 参考訳(メタデータ) (2026-01-10T08:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。