論文の概要: Resolving Action Bottleneck: Agentic Reinforcement Learning Informed by Token-Level Energy

• arxiv url: http://arxiv.org/abs/2605.14558v1
• Date: Thu, 14 May 2026 08:33:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.721597
• Title: Resolving Action Bottleneck: Agentic Reinforcement Learning Informed by Token-Level Energy
• Title（参考訳）: エージェント強化学習におけるToken-Level Energyの効果
• Authors: Langzhou He, Junyou Zhu, Yue Zhou, Zhengyao Gu, Junhua Liu, Wei-Chieh Huang, Henry Peng Zou, David Wipf, Philip S. Yu, Qitian Wu,
• Abstract要約: ポリシー・グラディエント・メソッドは、各トークンを同じ軌道で扱い、均一なクレジット割り当てにつながる。 このような均一なクレジット割り当てはトークンレベルのトレーニングシグナルをほとんど誤配置していることを示す。 本稿では,トークン再重み付け手法であるActFocusを提案する。
• 参考スコア（独自算出の注目度）: 64.72195169444738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic reinforcement learning trains large language models using multi-turn trajectories that interleave long reasoning traces with short environment-facing actions. Common policy-gradient methods, such as PPO and GRPO, treat each token in a trajectory equally, leading to uniform credit assignment. In this paper, we critically demonstrate that such uniform credit assignment largely misallocates token-level training signals. From an energy-based modeling perspective, we show that token-level training signals, quantified by their correlations with reward variance of different rollouts sampled from a given prompt, concentrate sharply on action tokens rather than reasoning tokens, even though action tokens account for only a small fraction of the trajectory. We refer to this phenomenon as the Action Bottleneck. Motivated by this observation, we propose an embarrassingly simple token reweighting approach, ActFocus, that downweights gradients on reasoning tokens, along with an additional energy-based redistribution mechanism that further increases the weights on action tokens with higher uncertainty. Across four environments and different model sizes, ActFocus consistently outperforms PPO and GRPO, yielding final-step gains of up to 65.2 and 63.7 percentage points, respectively, without any additional runtime or memory cost.
• Abstract（参考訳）: エージェント強化学習は、環境対応行動の短い長い推論トレースをインターリーブする多ターン軌跡を用いた大規模言語モデルを訓練する。 PPO(英語版)やGRPO(英語版)のような一般的な政策段階の手法は、それぞれのトークンを同じ軌道で扱い、均一な信用代入をもたらす。 本稿では、トークンレベルのトレーニング信号の均一な割り当てが、主にトークンレベルのトレーニング信号を誤配置していることを批判的に示す。 エネルギーベースモデリングの観点からは,トークンレベルのトレーニング信号が,与えられたプロンプトからサンプリングした異なるロールアウトの報酬分散と相関して定量化され,トークンの推論よりもアクショントークンに強く集中することを示す。 この現象を「アクション・ボトルネック」と呼ぶ。 そこで本研究では,より不確実性の高いアクショントークンの重み付けを一層高めるエネルギーベースの再分配機構とともに,推論トークンの重み付けに重み付けを行うActFocusという,恥ずかしいほど単純なトークン再重み付け手法を提案する。 4つの環境と異なるモデルサイズで、ActFocusはPPOとGRPOを一貫して上回り、それぞれ65.2ポイントと63.7ポイントまで上昇し、追加のランタイムやメモリコストがかからない。

関連論文リスト

• Cornerstones or Stumbling Blocks? Deciphering the Rock Tokens in On-Policy Distillation [4.624042537090342]
  On-Policy DistillationのKL目標に基づく学生と教師のミスマッチの最も直接的なシグナルとして,トークンタイプの高損失トークンについて検討する。 これらのトークンは、モデルの実際の推論性能に無視可能な機能的貢献を提供する。
  論文  参考訳（メタデータ） (2026-05-10T01:41:43Z)
• Mimic Intent, Not Just Trajectories [39.77112205526461]
  これは、根底にある意図を理解せずに生の軌道を模倣することに由来すると我々は主張する。 エンド-2-end IL: Mimic Intent, not just Trajectories。 いくつかの操作ベンチマークと実際のロボットの実験では、最先端の成功率、優れた推論効率、障害に対する堅牢な一般化、効果的なワンショット転送が示されている。
  論文  参考訳（メタデータ） (2026-02-09T12:44:35Z)
• Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization [56.083511902353365]
  強化学習(Reinforcement Learning, RL)は、一般的に、大規模言語モデルの全世代にわたって一様クレジットを適用する。 この研究は、LSMの内部論理を推論自体の機械的青写真として描画する特権基板として注意を向けている。 クリティカルノードに対するターゲットクレジット割り当てを動的に行う3つの新しいRL戦略を導入する。
  論文  参考訳（メタデータ） (2025-10-15T13:49:51Z)
• ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training [15.783265191574392]
  我々はZeroTuningを紹介した。ZeroTuningは、初期トークンに頭部特異的な注意調整を適用することで、LCMの性能を向上させる訓練自由な方法である。 このトークンの注意ログに軽量バイアスを加えることで、下流の注意分布のエントロピーを単調に制御できることが理論的に示されている。 検証例を校正する教師ありモードと、モデルの出力エントロピーを直接最小化する教師なしモードの2つのバリエーションを示す。
  論文  参考訳（メタデータ） (2025-05-16T22:52:24Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。