Fugu-MT 論文翻訳(概要): How Much, Then Where: Credit-Conserving Action-to-Token Allocation for Multi-Turn Agent Reinforcement Learning

論文の概要: How Much, Then Where: Credit-Conserving Action-to-Token Allocation for Multi-Turn Agent Reinforcement Learning

arxiv url: http://arxiv.org/abs/2608.07118v1
Date: Fri, 07 Aug 2026 11:22:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-10 16:21:25.482715
Title: How Much, Then Where: Credit-Conserving Action-to-Token Allocation for Multi-Turn Agent Reinforcement Learning
Title（参考訳）: マルチトゥルンエージェント強化学習のためのクレジット保存型アクション・ツー・ツー・トークン・アロケーション(Credit-Conserving Action-to-Token Allocation)の費用
Abstract要約: FACTORを導入し、行動に軌跡レベルのクレジットを割り当て、各アクションのクレジットをトークンに分散させる決定を分離する。 FACTORは、ALFWorld、WebShop、ScienceWorld間の競争ベースラインよりも一貫して改善されている。
参考スコア（独自算出の注目度）: 10.15294517210249
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Credit assignment in multi-turn agent reinforcement learning operates at two levels: assigning trajectory-level credit to actions and distributing each action's credit across its tokens. In this paper, we introduce FACTOR, which separates these decisions. FACTOR uses checkpoint-calibrated TD residuals to assign per-action credits that telescope to the trajectory advantage, and feedback-conditioned teacher-student likelihood gaps to allocate each credit across the realized action tokens. Per-action normalization preserves the action-average coefficient and prevents token-level sign flips. We pair this construction with an action-mean reduction, removing the implicit dependence of an action's scalar surrogate weight on its token length. At the behavior policy and before clipping, each action's inner action-mean surrogate equals its TD credit. FACTOR consistently improves over competitive baselines across ALFWorld, WebShop, and ScienceWorld, with every environment-seed comparison favoring FACTOR and the largest gains emerging on the longest-horizon environment. The same hyperparameters transfer without retuning to a larger backbone and to a different model family. Ablations identify TD action credit as the dominant driver of the improvement, with hindsight token allocation contributing complementary gains.
Abstract（参考訳）: マルチターンエージェント強化学習におけるクレジットの割り当ては、行動に軌道レベルのクレジットを割り当て、各アクションのクレジットをトークンに分散する2つのレベルで動作する。本稿では,これらの決定を分離したFACTORを紹介する。 FACTORは、チェックポイント校正されたTD残差を使用して、望遠鏡のアクション単位のクレジットを軌道上の優位性に割り当て、フィードバック条件の教師/学生の確率ギャップを使って、実現されたアクショントークンをまたいで各クレジットを割り当てる。アクションごとの正規化はアクション平均係数を保ち、トークンレベルのサインフリップを防ぐ。この構成をアクション平均還元と組み合わせ、トークン長に対するアクションのスカラーサロゲート重みの暗黙的な依存を取り除く。行動ポリシーとクリッピング前では、各アクションの内的アクション-平均サロゲートはTDクレジットと等しい。 FACTORは、ALFWorld、WebShop、ScienceWorldの競争ベースラインよりも一貫して改善されており、すべての環境種比較はFACTORを好んでおり、最も長い水平環境に出現する。同じハイパーパラメータは、大きなバックボーンや別のモデルファミリに調整することなく転送される。アブレーションはTDアクションクレジットを改善の主要因とみなし、後部トークン割り当ては補完的な利得に寄与する。

関連論文リスト

Teach the Magnitude, Not the Direction: Verifier-Bounded Credit Assignment for Multi-Turn Multi-step LLM Agents [15.12019413574721]
検証可能な報酬を用いた強化学習は、不均一なターン毎の結果を単一の報酬信号に融合させる。オンライン蒸留は、トーケンあたりの密集した監督を提供するが、教師が拘束されるか、勾配の集中が崩壊する傾向にある。我々は、RLの検証済み天井を保持する階層的な信用代入フレームワークであるtextbfCrEST$を導入し、特権付き自己教育者からの高密度トークンレベル信号を取り入れた。
論文参考訳（メタデータ） (2026-08-13T12:44:37Z)
Gated-BEPO: Confidence-Gated Bellman Credit Assignment for Large Language Model Agents [20.885871857379897]
長期にわたる環境下での大規模言語モデルエージェントの訓練には、個々の行動に疎い端末結果からクレジットを割り当てる必要がある。経験的ロールアウトグラフからステップレベルのクレジットを導出するGated-BEPOを提案する。
論文参考訳（メタデータ） (2026-08-07T06:38:12Z)
AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文参考訳（メタデータ） (2026-08-06T13:00:59Z)
TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning [10.917273110894469]
エージェント強化学習では、環境に配慮した行動にクレジットを割り当てる必要がある。標準GRPOは全てのアクショントークンに対する一様優位性として最終検証結果を使用する。本稿では,ロール型クレジット代入フレームワークであるTRIAGEを提案する。
論文参考訳（メタデータ） (2026-06-30T17:48:07Z)
CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning [4.663685189987781]
自己蒸留剤強化学習は、トークンレベルの蒸留損失で軌跡レベルの報酬を増大させる。一般的なレシピでは、この損失を1つのスカラー、すなわち教師と学生の対数確率のギャップで埋める。 CRAFTは2つの制限に対処する3ピラー・クレジット・アサインメント方式である。
論文参考訳（メタデータ） (2026-06-28T16:11:47Z)
Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards [49.1203423784326]
我々は、前述のKL分散をGRPO勾配の乗算重みとして用いるSC-GRPO(Self-Conditioned GRPO)を提案する。数学、コード、エージェントタスクにまたがる5つのベンチマークで、SC- GRPOはGRPOより8.1%、DAPOより5.9%、OODパフォーマンスが強い。
論文参考訳（メタデータ） (2026-06-17T08:26:02Z)
TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文参考訳（メタデータ） (2026-06-09T17:16:03Z)
Resolving Action Bottleneck: Agentic Reinforcement Learning Informed by Token-Level Energy [64.72195169444738]
ポリシー・グラディエント・メソッドは、各トークンを同じ軌道で扱い、均一なクレジット割り当てにつながる。このような均一なクレジット割り当てはトークンレベルのトレーニングシグナルをほとんど誤配置していることを示す。本稿では,トークン再重み付け手法であるActFocusを提案する。
論文参考訳（メタデータ） (2026-05-14T08:33:02Z)
HISR: Hindsight Information Modulated Segmental Process Rewards For Multi-turn Agentic Reinforcement Learning [47.756127177035246]
本稿では,Hendsight Information を利用したセグメンショナル・プロセス・リワードの修正手法を提案する。具体的には、タスクの各サブゴールに対する報酬を割り当てるために、セグメントレベルプロセスRMが提示される。軌跡における重要なセグメントを強調するために,軌跡結果の把握後,ある動作を行うことの好みを反映した後視モデルが考案された。
論文参考訳（メタデータ） (2026-03-19T09:42:05Z)
Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
論文参考訳（メタデータ） (2026-01-12T10:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。