論文の概要: Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL

• arxiv url: http://arxiv.org/abs/2610.21439v1
• Date: Thu, 15 Oct 2026 07:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.258646
• Title: Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
• Title（参考訳）: 関連トークンに対する各リワード:マルチリワードRLのためのリワード特化トークンレベルクレジットアサインメント
• Abstract要約: MRTPOは、それぞれの報酬の利点をそれに関連するトークンに割り当てる。 我々は、各報酬の利点をそれに関連するトークンに割り当てるMRTPOを提案する。
• 参考スコア（独自算出の注目度）: 19.679327255424543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are increasingly trained against several verifiable rewards at once, such as the correctness and the format of a tool call, or the individual constraints of a complex instruction. Reward-decoupled normalization (GDPO) normalizes each reward separately so that different reward combinations keep distinct advantages, but it still spreads every reward's advantage evenly over the whole response, although each verifier checks only a few positions. We propose MRTPO, which assigns the advantage of each reward to the tokens relevant to it, using the information its verifier checks, without auxiliary models or token-level annotations. For each reward, the policy replays its own response with and without that reward's verifier information, and the per-token Jensen-Shannon distance between the two next-token distributions measures each token's relevance and reassigns the advantage. On text-to-SQL, multi-constraint instruction following and tool calling, MRTPO converges faster and achieves better performance than the compared methods.
• Abstract（参考訳）: 言語モデルは、ツールコールの正確性やフォーマット、複雑な命令の個々の制約など、検証可能ないくつかの報酬に対して、ますます訓練されている。 Reward-Decoupled normalization (GDPO) は、それぞれの報酬を別々に正規化し、異なる報酬の組み合わせが異なる利点を保ちながら、全ての報酬の利点を全ての応答に均等に広げるが、検証者はいくつかの位置のみをチェックする。 補助モデルやトークンレベルのアノテーションを使わずに、検証者がチェックする情報を用いて、各報酬の利点をそれに関連するトークンに割り当てるMRTPOを提案する。 各報酬に対して、ポリシーは、その報酬の検証情報と無しで独自の反応を再生し、次の2つの配当間のジェンセン=シャノン距離は、それぞれのトークンの関連性を測定し、利点を再割り当てする。 テキストからSQLへの命令、マルチ制約命令、ツール呼び出しでは、MRTPOはより高速に収束し、比較したメソッドよりもパフォーマンスが向上する。

関連論文リスト

• ReCAST: Reward Credit Assignment across Timesteps for Online Diffusion Reinforcement [49.49571101362551]
  本稿では,ReCAST(Reward Credit Assignment across Timesteps)を提案する。 我々は、ReCASTがトレーニング報酬を超えて、その中核となる原則をサポートするために一般化する改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-09-11T18:41:09Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Likelihood-Based Reward Designs for General LLM Reasoning [17.640897774014707]
  強化学習による微調整された大きな言語モデルは、ベンチマーク毎に特定の報酬関数、しばしばバイナリを必要とする。 ここでは,基準解を出力する確率や対数確率から得られる報酬について検討する。 連鎖学習の報奨として参照回答の対数確率を用いることが,すべての設定において良好に機能する唯一の選択肢であることがわかった。
  論文  参考訳（メタデータ） (2026-02-03T20:04:21Z)
• T-REG: Preference Optimization with Token-Level Reward Regularization [35.07328450591201]
  人間のフィードバックからの強化学習(RLHF)は、大きな言語モデルと人間の価値の整合に不可欠である。 最近の手法ではトークンレベルの報酬を導入してこの制限に対処しようと試みている。 本稿では,トークンレベルの報酬を優先最適化に利用する新しい手法であるトークンレベルの報酬正規化(T-REG)を提案する。
  論文  参考訳（メタデータ） (2024-12-03T18:56:07Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• Reinforcement Learning from Bagged Reward [46.16904382582698]
  強化学習(RL)では、エージェントが取るアクション毎に即時報奨信号が生成されることが一般的である。 多くの実世界のシナリオでは、即時報酬信号の設計は困難である。 本稿では,双方向の注意機構を備えた新たな報酬再分配手法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:26:44Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。