Fugu-MT 論文翻訳(概要): Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning

論文の概要: Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning

arxiv url: http://arxiv.org/abs/2609.12424v1
Date: Fri, 11 Sep 2026 04:19:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-15 07:38:31.621299
Title: Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning
Title（参考訳）: 長期LLMエージェント強化学習のための粒度適応型クレジットアサインメント
Abstract要約: 我々は、正しい解決法は国家に依存していると論じ、不確実性に基づく臨界性プロキシに従って粒度が続く批判のない推定器であるGACAを提案する。 GACAは、自己のロールアウトがすでに記録している負のログライクな記録によって各ステップをスコアし、そのスコアで成長するステップ毎の重みと2つのアドバンテージをブレンドする。 ALFWorldとWebShopでは、GACAはGRPOとGiGPOよりも1.5Bと7Bのスケールでタスクの成功を改善する。
参考スコア（独自算出の注目度）: 7.885980895039013
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement learning is now the standard way to train large language model agents on long-horizon tasks, where dozens of interdependent actions precede a single sparse reward. Critic-free, group-relative methods such as GRPO suit this regime, but they broadcast one trajectory-level scalar to every step and cannot say which decision drove the outcome. GiGPO recovers a step-level signal by grouping time steps that share an anchor state, yet it merges the step- and episode-level estimates under one fixed weight, spending the same resolution on a pivotal branching decision as on a routine, near-deterministic transition. We argue that the right resolution is state-dependent, and propose GACA, a critic-free estimator whose granularity follows an uncertainty-based criticality proxy. GACA scores every step by the negative log-likelihood its own rollout already records, then blends the two advantages with a per-step weight that grows with that score, so the gradient places more weight on the fine-grained signal at above-average NLL and on the episode-level signal below it. We derive an exact risk decomposition for the implemented mixture and show that sufficiently small modulation improves on fixed mixing under positive directional alignment. A separate conditional result bounds local action-value variation using expected NLL, while an error-projection analysis characterizes when mixing adds value beyond scalar uncertainty reweighting. On ALFWorld and WebShop, GACA improves task success over GRPO and GiGPO at both 1.5B and 7B scales.
Abstract（参考訳）: 強化学習(Reinforcement learning)は、大規模な言語モデルエージェントを長期のタスクで訓練する標準的な方法である。 GRPOのような批判のないグループ関係の手法はこの体制に適合するが、すべてのステップに1つの軌跡レベルのスカラーを放送し、どの決定が結果を導いたかは定かではない。 GiGPOは、アンカー状態を共有する時間ステップをグループ化してステップレベル信号を回復するが、ステップレベルとエピソードレベルの見積を1つの固定重みの下でマージし、通常のほぼ決定論的遷移と同様に、ピボット分岐決定に同じ解像度を使用する。我々は、正しい解決法は国家に依存していると論じ、不確実性に基づく臨界性プロキシに従って粒度が続く批判のない推定器であるGACAを提案する。 GACAは、すでに記録されている負のログライクなロールアウトによって各ステップにスコアを付け、そのスコアと成長するステップごとの重みをブレンドする。実装した混合物の正確なリスク分解を導出し, 正方向配向下での固定混合により十分に小さな変調が向上することを示す。一方、誤差投影解析は、スカラー不確実性再重み付けを超えて値が加算されるときに特徴付けられる。 ALFWorldとWebShopでは、GACAはGRPOとGiGPOよりも1.5Bと7Bのスケールでタスクの成功を改善する。

関連論文リスト

One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文参考訳（メタデータ） (2026-09-06T08:32:59Z)
The Dark Room in the Reward Channel: Dense Prediction Rewards Collapse GRPO-Trained LLM Agents -- and What Actually Works [3.040305634723913]
群正規化RLの下では、ポテンシャルに基づく予測報酬が全てのランを退化吸収状態に駆動することを示す。単一エピソードアブレーションは原因を和らげる -- GRPOの正規化だけを取り除くことで、破滅からベースラインパリティへと同じ報酬が変わる。我々の中心的な洞察はこれを一般化している: z-scoring amplify は、全フェイル群が支配的である間、高密度信号の群内分散である。
論文参考訳（メタデータ） (2026-07-23T12:50:18Z)
Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
論文参考訳（メタデータ） (2026-06-22T08:12:47Z)
RL2ML: Finite-Rollout Surrogate Objectives from Reinforcement Learning to Maximum Likelihood [0.0]
本稿では、有限ロールアウトされた代理対象の族であるRL2MLを、閉形式、正確に偏りのない勾配推定器で開発する。代理目的の最良の選択は、最大可能性に近づいたり、人口レベルの重みだけで決められたりしないことを示す。
論文参考訳（メタデータ） (2026-05-28T16:14:45Z)
StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning [6.365332042924078]
本稿では,ロールアウト後の自己蒸留フレームワークであるStepOPSDについて紹介する。 StepOPSDは、軌跡をアクション中心のステップセグメントに分解し、後見豊かな教師コンテキスト下でそれらを再構成する。より小さい_clipは広範囲に安定化された局所信頼領域として作用するが、最適な大域混合強度_mixはタスク依存のままである。
論文参考訳（メタデータ） (2026-05-26T15:07:03Z)
Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文参考訳（メタデータ） (2026-05-21T16:45:31Z)
Holder Policy Optimisation [26.521180498291717]
textbfHlderPOは、一般的なポリシー最適化フレームワークである。トークンレベルの確率アグリゲーションをHlder平均を介して統一する。複数の数学ベンチマークにおいて、最先端の平均精度は54.9%である。
論文参考訳（メタデータ） (2026-05-12T12:45:03Z)
AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。 LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
論文参考訳（メタデータ） (2026-04-20T04:25:24Z)
Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文参考訳（メタデータ） (2026-03-10T04:07:39Z)
Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。スパース端末の報酬を密度の高いプロセス認識値推定に変換する。標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文参考訳（メタデータ） (2025-12-13T16:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。