論文の概要: One Act, Many Masks: Effect-Marginal Policy Optimization for Long-Horizon Agents

• arxiv url: http://arxiv.org/abs/2610.29427v1
• Date: Wed, 21 Oct 2026 08:51:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.295664
• Title: One Act, Many Masks: Effect-Marginal Policy Optimization for Long-Horizon Agents
• Title（参考訳）: 多くのマスクの1つの法則:長軸エージェントのエフェクト・マージナル・ポリシー最適化
• Abstract要約: 本研究では,実行レベル同値性とポリシーを整合させるエフェクト・マージナル・ポリシー・オプティマイズ(EMPO)を提案する。 EMPOは元のクレジット信号を保存し、軌道レベルとステップレベルの両方のクレジット推定器と統合し、追加の批評家やロールアウトを必要としない。
• 参考スコア（独自算出の注目度）: 52.05793575124499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in multi-turn reinforcement learning (RL) have substantially improved the performance of LLM agents on complex, long-horizon interactive tasks. However, despite progress in fine-grained credit assignment, policy optimization still applies these learning signals through response-specific probability ratios. Different textual responses can induce the same executable effect, yet credit differences arising from subsequent outcomes remain tied to their individual textual realizations. We identify this mismatch as credit-update misalignment. Our analysis reveals that credit-text pairing directly shapes policy-update directions, even when the policy context and executable effect are held fixed. Motivated by this finding, we propose Effect-Marginal Policy Optimization (EMPO), which aligns policy optimization with execution-level equivalence through an effect-level surrogate that couples updates across alternative textual realizations. EMPO preserves the original credit signals, integrates with both trajectory-level and step-level credit estimators, and requires no additional critics or rollouts. Experiments on ALFWorld, WebShop, and Sokoban show that EMPO outperforms strong baselines in both task performance and learning efficiency.
• Abstract（参考訳）: マルチターン強化学習(RL)の最近の進歩は、複雑な長距離対話タスクにおけるLLMエージェントの性能を大幅に向上させてきた。 しかし、詳細な信用割当の進展にもかかわらず、政策最適化は依然として応答特異的確率比を通じてこれらの学習信号を適用している。 異なるテキスト応答は、同じ実行可能な効果を誘導することができるが、その後の結果から生じる信用差は、個々のテキスト実現と結びついている。 私たちはこのミスマッチを信用更新ミスだと考えています。 分析の結果,政策コンテキストと実行可能効果が固定された場合でも,クレジット・テキスト・ペアリングは政策更新方向を直接的に形成することがわかった。 この発見を動機として、代替テキスト実現にまたがる更新を結合するエフェクトレベルサロゲートを通じて、ポリシー最適化と実行レベルの等価性を整合させるエフェクト・マージナル・ポリシー・最適化(EMPO)を提案する。 EMPOは元のクレジット信号を保存し、軌道レベルとステップレベルの両方のクレジット推定器と統合し、追加の批評家やロールアウトを必要としない。 ALFWorld、WebShop、およびSokobanの実験では、EMPOはタスクパフォーマンスと学習効率の両方において、強力なベースラインを上回っている。

関連論文リスト

• Contextual Credit Policy Optimization [24.840976351932937]
  グループベースの強化学習により、エージェントは長期のタスクにおいてスパースな結果報酬から学ぶことができる。 近年の手法は、軌跡間における観測整合経験を比較することによって段階的信用を導出する。 これら2つの課題に対処するために、文脈信用政策最適化(CCPO)を提案する。
  論文  参考訳（メタデータ） (2026-10-13T19:39:52Z)
• Unifying Temporal and Structural Credit Assignment in LLM-Based Multi-Agent Prompt Optimization [10.37712840622514]
  マルチエージェントシステム(MAS)は、大規模言語モデルに複雑な推論計算タスクに取り組む権限を与える。 既存のブラックボックスは、トラジェクトリレベルの障害を特定のローカルコンポーネントに原因付けるのに苦労する。 我々は、抽出可能なMAS最適化は、誤り信号のアンタングルを解消するために構造的帰納バイアスを必要とすると論じる。
  論文  参考訳（メタデータ） (2026-05-28T16:57:57Z)
• ALOE: Action-Level Off-Policy Evaluation for Vision-Language-Action Model Post-Training [15.70383059978939]
  本研究では,オンライン強化学習(RL)による大規模基盤視覚アクション(VLA)システムの改善方法について検討する。 実際には、値関数は異なるデータソースから収集された軌跡断片から推定される。 VLAポストトレーニングのためのアクションレベルオフポリシー評価フレームワークであるALOEを提案する。
  論文  参考訳（メタデータ） (2026-02-13T07:46:37Z)
• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
  我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。 この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-10-14T03:22:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。