論文の概要: Dual-Axis Policy Optimization for LLM Agents: Bayesian Feedback Attribution and Trajectory Mass Normalization

• arxiv url: http://arxiv.org/abs/2609.19830v1
• Date: Thu, 17 Sep 2026 07:35:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.154406
• Title: Dual-Axis Policy Optimization for LLM Agents: Bayesian Feedback Attribution and Trajectory Mass Normalization
• Title（参考訳）: LLMエージェントの2軸ポリシー最適化:ベイズフィードバック属性と軌道質量正規化
• Abstract要約: BATON(Bayesian Attribution and Trajectory Objective Normalization)は2軸ポリシー最適化フレームワークである。 ALFWorld、WebShop、SearchQAでのGRPOとGiGPOによる実験は、どちらの軸も独立して利得を提供することを示している。
• 参考スコア（独自算出の注目度）: 28.324951109950366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning for LLM agents involves two distinct optimization di- mensions: how environment feedback is exploited within a trajectory, and how complete trajectories are aggregated across a batch. We formulate these dimen- sions as Intra-Trajectory Feedback Attribution and Inter-Trajectory Objec- tive Aggregation, and introduce BATON (Bayesian Attribution and Trajectory Objective Normalization), a dual-axis policy optimization framework. BATON instantiates the first axis with Bayesian Feedback Attribution, which constructs a feedback-conditioned posterior over sampled actions, and the second with Trajec- tory Mass Normalization (TMN), which assigns equal optimization mass to com- plete trajectories. Experiments with GRPO and GiGPO on ALFWorld, WebShop, and SearchQA show that both axes provide independent gains and that their combi- nation consistently achieves the strongest overall performance across model scales.
• Abstract（参考訳）: LLMエージェントの強化学習には、環境フィードバックが軌道内でどのように利用されるか、完全な軌道がバッチ全体でどのように集約されるかという、2つの異なる最適化ディメンションが含まれる。 両軸最適化フレームワークであるBATON(Bayesian Attribution and Trajectory Objective Normalization)を導入する。 BATONは第1軸をベイズフィードバック属性(Bayesian Feedback Attribution)、第2軸をトラジェック・トーリー質量正規化(Trajec-tory Mass Normalization、TMN)、第2軸はコンプレト軌道に等しい最適化質量を割り当てる。 ALFWorld、WebShop、SearchQAでのGRPOとGiGPOの実験では、どちらの軸も独立して利得を提供し、それらの共生国家はモデルスケール全体で最強の全体的なパフォーマンスを一貫して達成している。

関連論文リスト

• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• Towards Pareto-Optimal Tool-Integrated Agents with Pareto Ranking Policy Optimization [54.855135506924775]
  ツールを用いた大規模言語モデル(LLM)を競合する目的の下で整列するための2段階多目的最適化フレームワークを提案する。 この設計は、複数の矛盾する目的に対してきめ細かいアクションレベルの最適化を可能にする。
  論文  参考訳（メタデータ） (2026-06-15T01:58:07Z)
• LambdaPO: A Lambda Style Policy Optimization for Reasoning Language Models [34.349722314481824]
  グループ相対政策最適化は、明示的な価値批判を先導する効果で評価されている。 群平均のようなモノリシックな統計ベースラインへの依存は、軌道空間の相対トポロジーを1つのスカラーに分解する。 我々は、この情報理論のボトルネックに対処する新しいフレームワークLambda Policy Optimization(LambdaPO)を紹介します。
  論文  参考訳（メタデータ） (2026-05-19T06:10:24Z)
• PARM: Pipeline-Adapted Reward Model [60.769414637325326]
  リワードモデル(RM)は、大規模言語モデル(LLM)を人間の好みと整合させることの中心であり、高度な復号化戦略を推進している。 これまでの作業はシングルステップ生成に重点を置いていたが、現実のアプリケーションはますますマルチステージパイプラインを採用するようになっている。 我々は、最適化のためのコード生成を通じてこれを調査し、報酬モデルを定式化とソリューション段階の両方に統合するパイプラインを構築する。
  論文  参考訳（メタデータ） (2026-04-20T14:29:08Z)
• S-GRPO: Unified Post-Training for Large Vision-Language Models [11.901218794806796]
  我々はLVLM(Large Vision-Language Models)適応のためのS-GRPO(Supervised Group Relative Policy Optimization)を提案する。 S-GRPOは、模擬学習の指導を選好最適化の多軌道探索に統合する。 監督ファインチューニング(SFT)と強化学習(RL)のギャップを優雅に埋める
  論文  参考訳（メタデータ） (2026-04-17T08:39:07Z)
• Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning [37.39836347901149]
  我々は,Large Language Models (LLM) が所望の目標分布に従属する出力を生成できるかどうかを評価する。 職業文脈における性別・人種・感情の属性を用いて分布アライメントを定式化する。 本稿では,ステアリングトークンとセマンティックアライメントを結合したファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-07T11:58:16Z)
• HAD: Combining Hierarchical Diffusion with Metric-Decoupled RL for End-to-End Driving [51.268878540511054]
  我々は階層的拡散政策を備えたエンドツーエンドの計画フレームワークであるHADを提案する。 我々は,NAVSIMとHUGSIMの両方でHADが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-04-04T04:12:47Z)
• OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
  既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。 このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。 我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:41:36Z)
• TGRPO :Fine-tuning Vision-Language-Action Model via Trajectory-wise Group Relative Policy Optimization [12.061547251822326]
  Trajectory-based Group Relative Policy Optimization (TGRPO)は、Visual-Language-Action(VLA)モデルのためのオンラインRLベースのトレーニングフレームワークである。 TGRPOの平均成功率は80.7%で、これはスーパーバイザードファインチューニング(SFT)よりも4.2%高く、他の代表的RLベースのポストトレーニング手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-06-10T04:27:49Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。