論文の概要: Unlocking Token Rewards via Training-Free Reward Attribution

• arxiv url: http://arxiv.org/abs/2610.18704v1
• Date: Tue, 13 Oct 2026 16:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.687077
• Title: Unlocking Token Rewards via Training-Free Reward Attribution
• Title（参考訳）: トレーニング不要のリワード属性によるアンロックトークンリワード
• Abstract要約: 本稿では,既存のディープ報酬モデルから直接トークンレベルの報酬信号を抽出する,極めて効率的なトレーニング不要な手法を提案する。 トークン埋め込みとヌルトークン埋め込みの差の内積への影響計算を単純化する一階述語Taylor近似を用いる。 トークンレベルの報酬により、標準的なRLアルゴリズムは、追加の報酬モデルトレーニングを必要とせずに、正確なクレジット割り当てを行うことができる。
• 参考スコア（独自算出の注目度）: 85.18171317447187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose an extremely efficient, training-free method to extract token-level reward signals directly from an existing deep reward model. Our core idea is to attribute the overall process reward to individual tokens by estimating each token's influence. This influence is defined as the change in the final macroscopic reward (e.g., the process reward) when a token is replaced with a semantically null token. Naively calculating this influence is computationally infeasible, requiring N forward passes through the PRM for an N-token sequence. We overcome this bottleneck by proposing a highly efficient gradient-based estimator. Specifically, we use a first-order Taylor approximation, which simplifies the influence calculation to the inner product of the difference between the token embedding and the null token embedding, and the gradient of the reward with respect to the token embedding. This requires only a single forward and backward pass. The resulting token-level rewards enable standard RL algorithms to perform precise credit assignment without requiring additional reward model training. Experiments on challenging reasoning benchmarks demonstrate that our method substantially improves policy optimization efficiency and enhances the generalization of LLM reasoning capabilities. Our P2T outperforms the outcome reward by +4.9% on MathVista for Qwen2.5-VL-7B-Instruct, and +11.5% on AIME24 for Qwen2.5-Math-7B. The code will be released via https://github.com/stonewst/P2T.
• Abstract（参考訳）: 本稿では,既存のディープ報酬モデルから直接トークンレベルの報酬信号を抽出する,極めて効率的なトレーニング不要な手法を提案する。 私たちの中核となる考え方は、各トークンの影響を見積もることで、プロセス全体の報酬を個々のトークンに属性付けることです。 この影響は、トークンが意味的にnullトークンに置き換えられたときの最終的なマクロ的な報酬(例:プロセス報酬)の変化として定義される。 この影響を計算的に計算することは不可能であり、N のフォワードは N-token シーケンスのために PRM を通過する必要がある。 このボトルネックを克服するために、高効率な勾配ベース推定器を提案する。 具体的には、トークン埋め込みとヌルトークン埋め込みの差の内積への影響計算を単純化し、トークン埋め込みに対する報酬の勾配を求める一階述語Taylor近似を用いる。 これは1回の前進と後方通過しか必要としない。 トークンレベルの報酬により、標準的なRLアルゴリズムは、追加の報酬モデルトレーニングを必要とせずに、正確なクレジット割り当てを行うことができる。 試行錯誤試験の結果,提案手法は政策最適化の効率を大幅に向上し,LCM推論能力の一般化を向上することが示された。 我々のP2Tは、Qwen2.5-VL-7B-インストラクトのMathVistaで+4.9%、Qwen2.5-Math-7BのAIME24で+11.5%、結果報酬で+4.9%を上回ります。 コードはhttps://github.com/stonewst/P2T.comから公開される。

関連論文リスト

• On the Token Value Inequality in Efficient Reasoning [68.73741968444614]
  連鎖推論により、大規模な言語モデルによって複雑なタスクにおいて大幅なパフォーマンス向上が達成された。 推論トレースのすべてのトークンは、同等に価値がありますか? 本稿では,重要な経験的発見を基盤とした診断・最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-27T22:15:38Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• TGDPO: Harnessing Token-Level Reward Guidance for Enhancing Direct Preference Optimization [73.16975077770765]
  近年の強化学習の進歩は、きめ細かいトークンレベルの報酬モデルを利用することで、PPO(Pximal Policy Optimization)の性能を大幅に向上させることができることを示している。 直接選好最適化(DPO)のガイダンスとしてこのようなトークンレベルの報酬を活用することは困難である。 この研究は、PPOをトークンレベルのポリシー最適化問題列に分解し、トークンレベルの報酬ガイダンスでトークンレベルのPPOの問題をフレーム化する。
  論文  参考訳（メタデータ） (2025-06-17T14:30:06Z)
• Learning Explainable Dense Reward Shapes via Bayesian Optimization [45.34810347865996]
  トークンレベルのクレジット代入に焦点をあてた最適化問題として、報酬形成の枠組みを定めている。 SHAP や LIME などの説明可能性法を用いて,報酬モデルから各報酬を推定する。 実験の結果,トークンレベルの報酬属性のバランスが良くなると,ベースラインよりもパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2025-04-22T21:09:33Z)
• T-REG: Preference Optimization with Token-Level Reward Regularization [35.07328450591201]
  人間のフィードバックからの強化学習(RLHF)は、大きな言語モデルと人間の価値の整合に不可欠である。 最近の手法ではトークンレベルの報酬を導入してこの制限に対処しようと試みている。 本稿では,トークンレベルの報酬を優先最適化に利用する新しい手法であるトークンレベルの報酬正規化(T-REG)を提案する。
  論文  参考訳（メタデータ） (2024-12-03T18:56:07Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。