論文の概要: Matched-Context Group Policy Optimization for LLM Agent Training

• arxiv url: http://arxiv.org/abs/2610.13755v1
• Date: Fri, 09 Oct 2026 15:41:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.656584
• Title: Matched-Context Group Policy Optimization for LLM Agent Training
• Title（参考訳）: LLMエージェント訓練のためのマッチングコンテキスト群ポリシー最適化
• Abstract要約: 本稿では,すでに収集された軌道から重み付けされた行動嗜好を構築する手法を提案する。 MCGPOはロールアウトデータと各レスポンスのオリジナルの履歴を再利用し、批判なしのトレーニングを保存する。
• 参考スコア（独自算出の注目度）: 29.227420368176595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training long-horizon language model agents requires assigning credit to intermediate decisions from sparse terminal feedback. Within a finite group of sibling rollouts, useful action comparisons depend on their context, evidence for both alternatives, and how that evidence enters learning. We propose Matched-Context Group Policy Optimization (MCGPO), a procedure for constructing weighted action preferences from already collected trajectories. MCGPO defines comparison contexts with pre-action state summaries and observed rubric progress, annotated by task rules. Two-action support selects among ordered exact and coarse matching rules. Fixed folds separate candidate decisions from the terminal outcomes used to orient their preferences, and support-dependent evidence weights scale an auxiliary pairwise objective alongside shared GraphGPO task learning. MCGPO reuses rollout data and each response's original history, preserving critic-free training. Across six environment-backbone settings with three training seeds each, MCGPO improves mean success over matched GraphGPO: by 0.47-1.46 percentage points on ALFWorld and WebShop with Qwen2.5-1.5B and 7B, and by 3.96 and 5.16 points on WebShop with Qwen3-4B and 8B. The ALFWorld gains build on baseline success above 92%, where remaining headroom is limited. Integrated success improves in three of four Qwen2.5 settings. Three-seed factorial controls support opposite-fold evidence and evidence weighting; joint state-rubric matching achieves the highest mean in all four representation-control settings.
• Abstract（参考訳）: 長期言語モデルエージェントの訓練には、疎い端末からのフィードバックから中間決定にクレジットを割り当てる必要がある。 兄弟姉妹のロールアウトの有限群の中で、有用な行動比較は、それらの文脈、両方の選択肢の証拠、そしてその証拠がどのように学習に入るかに依存する。 我々は,すでに収集された軌道から重み付けされた行動嗜好を構築するための手法であるMCGPO(Matched-Context Group Policy Optimization)を提案する。 MCGPOは、タスクルールによって注釈付けされた前アクション状態の要約と観察されたルーリック進行との比較コンテキストを定義する。 2つのアクションサポートは、順序付けられた正確かつ粗いマッチングルールの中から選択される。 固定された重み付けは、好みのオリエント化に使用される終末結果から候補決定を分離し、サポート依存のエビデンス重みは、共有されたGraphGPOタスク学習と並行して、補助的な対の目的をスケールする。 MCGPOはロールアウトデータと各レスポンスのオリジナルの履歴を再利用し、批判なしのトレーニングを保存する。 MCGPOは、それぞれ3つのトレーニングシードを持つ6つの環境バックボーン設定において、マッチしたGraphGPOよりも平均的な成功率を改善している。 ALFWorldは、ベースラインの成功を92%以上上回り、残りのヘッドルームは限られている。 総合的な成功は、4つのQwen2.5設定のうち3つで改善される。 連立状態ルブリックマッチングは、4つの表現制御設定で最高平均を達成する。

関連論文リスト

• Equivariant Neural Primal-Dual Assignment for Maximum Common Edge Subgraphs [16.0495191098223]
  分子類似性探索には多くのグラフ対をマッチングする必要がある。 Equivariant Neural Primal-Dual Assignment (ENPDA)を紹介する。 ENPDAは共有マッチングポリシーを学び、さらなるトレーニングなしに新しいペアに適用する。
  論文  参考訳（メタデータ） (2026-09-26T14:19:12Z)
• HISPO: Hierarchical Importance-Sampling Policy Optimization with Entropy-Derived Segments [3.6883184884620004]
  検証可能な報酬(RLVR)を用いた強化学習は、言語モデルにおける数学的推論を改善するための中心的なアプローチとなっている。 解トレースの異なる部分が最終的な正しさに不均一に寄与する可能性がある。 ロールアウト時間エントロピー由来の連続セグメントを構成するセグメントレベルのポリシー最適化手法である階層的重要度サンプリングポリシー最適化(HISPO)を導入する。
  論文  参考訳（メタデータ） (2026-09-14T12:29:00Z)
• DGPO: Beyond Pairwise Preferences with Directional Consistent Groupwise Optimization [17.28534525169732]
  本稿では,グループレベルでの監視信号を集約し,方向対応アライメントを明示的にモデル化する軽量フレームワークであるDGPOを提案する。 構築したリバースデータは5つのベンチマークで平均3.2%向上し、DGPOは複数のデータセットとモデルファミリで一貫したゲインを提供し、平均精度は3.6%向上した。
  論文  参考訳（メタデータ） (2026-05-11T17:10:44Z)
• Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。 標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。 トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
  論文  参考訳（メタデータ） (2026-04-14T09:48:46Z)
• GRCF: Two-Stage Groupwise Ranking and Calibration Framework for Multimodal Sentiment Analysis [20.77940776708036]
  ペアワイズな順序学習フレームワークは、比較から学ぶことで相対的な順序を捉える。 彼らは全ての比較に均一な重要性を割り当て、ハード・ツー・ランクのサンプルに適応的に焦点をあてることに失敗した。 本稿では,グループ相対的政策最適化の理念を取り入れた二段階群ランク付け・フレームワークを提案する。 GRCFは、コア回帰ベンチマークで最先端のパフォーマンスを達成すると同時に、分類タスクにおいて強力な一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-14T16:26:44Z)
• Group-in-Group Policy Optimization for LLM Agent Training [17.243181792126563]
  Group-in-Group Policy Optimization (GiGPO) は、LLMエージェントのきめ細かいクレジット割り当てを実現する新しいRLアルゴリズムである。 我々は, ALFWorld や WebShop などのエージェントベンチマークに対する GiGPO の評価と,検索強化されたQA タスクに対するツール統合推論を行った。
  論文  参考訳（メタデータ） (2025-05-16T08:26:59Z)
• Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment [57.03947082589616]
  大規模言語モデル(LLM)は、しばしばコントラスト的なアライメント目標と選好ペアデータセットを使用してアライメントされる。 これについて検討し、基礎となる応答が対照的な場合、嗜好データがより良い学習信号を与えることを示した。 我々は、よりコントラスト的な選好ペアを生み出すデータ生成手法である、AI Revisions (CLAIR) からのコントラスト学習を紹介する。 我々の最良のモデルは、APOで32K CLAIRの選好に基づいて訓練され、Llama-3-8B-Instructを7.65%改善し、GPT4-turboとのギャップを45%短縮しました。
  論文  参考訳（メタデータ） (2024-08-12T16:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。