論文の概要: Direction-Aware Token Credit Assignment with Reward-Model Gradients
- arxiv url: http://arxiv.org/abs/2610.32772v1
- Date: Fri, 23 Oct 2026 15:21:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.592027
- Title: Direction-Aware Token Credit Assignment with Reward-Model Gradients
- Title（参考訳）: Reward-Model Gradientsを用いた方向認識型トークンクレジットアサインメント
- Abstract要約: GRPOはトークン間のレスポンスレベルのアドバンテージを共有し、各トークンが学習にどの程度強く貢献するかを未解決のまま残している。
報酬モデル勾配をポリシーロジット空間にマッピングするDATC(Direction-Aware Token Credit Assignment)を導入する。
DATCはGRPOを2つのモデルファミリで4つの設定で上回っている。
- 参考スコア（独自算出の注目度）: 14.957754996634357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GRPO shares a response-level advantage across tokens, leaving unresolved how strongly each token should contribute to learning. Updates induced by the shared advantage reinforce or suppress the sampled token at each position, but these updates do not always point toward increasing reward at the token level. This motivates a work-based view of credit: just as work depends on the component of force along a displacement, token credit should reflect the local reward change along the policy update direction. We introduce Direction-Aware Token Credit Assignment (DATC), which maps frozen reward-model gradients into policy logit space and allocates weights by evaluating the alignment between the reward direction and GRPO's signed sampled-action update direction, while preserving the sign and mean of the response-level advantage. DATC outperforms GRPO in all four settings across two model families.
- Abstract（参考訳）: GRPOはトークン間のレスポンスレベルのアドバンテージを共有し、各トークンが学習にどの程度強く貢献するかを未解決のまま残している。
共有アドバンテージによって誘導される更新は、各位置にサンプリングされたトークンを補強または抑制するが、これらの更新はトークンレベルでの報酬の増加を常に指しているわけではない。
これは、仕事に基づく信用の見方を動機付けます。仕事が変位に沿った力の構成要素に依存するように、トークンクレジットはポリシー更新の方向に沿った局所的な報酬の変化を反映するべきです。
本稿では,DATC(Direction-Aware Token Credit Assignment)を導入し,報奨モデル勾配をポリシロジット空間にマッピングし,報奨方向とGRPOのサインされたサンプル-アクション更新方向のアライメントを評価し,応答レベル優位のサインと平均を保存することで重みを割り当てる。
DATCはGRPOを2つのモデルファミリで4つの設定で上回っている。
関連論文リスト
- Se-DPO: Self-Evolving Token Credit for Direct Preference Optimization [41.53342772346055]
トークンクレジットを導入し、各トークンのKL正規化を、優先結果への貢献に基づいて調整する。
本稿では,DPOトレーニング中に,モデル自身の内部信号からトークンクレジットを導出するライブメカニズムであるSe-DPOを提案する。
実験によると、Se-DPOはAlpacaEval2で9.8ポイント、Arena-Hardで12.2ポイント改善している。
論文 参考訳（メタデータ） (2026-08-10T13:05:38Z) - How Much, Then Where: Credit-Conserving Action-to-Token Allocation for Multi-Turn Agent Reinforcement Learning [10.15294517210249]
FACTORを導入し、行動に軌跡レベルのクレジットを割り当て、各アクションのクレジットをトークンに分散させる決定を分離する。
FACTORは、ALFWorld、WebShop、ScienceWorld間の競争ベースラインよりも一貫して改善されている。
論文 参考訳（メタデータ） (2026-08-07T11:22:09Z) - TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning [10.917273110894469]
エージェント強化学習では、環境に配慮した行動にクレジットを割り当てる必要がある。
標準GRPOは全てのアクショントークンに対する一様優位性として最終検証結果を使用する。
本稿では,ロール型クレジット代入フレームワークであるTRIAGEを提案する。
論文 参考訳（メタデータ） (2026-06-30T17:48:07Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。
GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。
We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
論文 参考訳（メタデータ） (2026-05-28T18:20:32Z) - Resolving Action Bottleneck: Agentic Reinforcement Learning Informed by Token-Level Energy [64.72195169444738]
ポリシー・グラディエント・メソッドは、各トークンを同じ軌道で扱い、均一なクレジット割り当てにつながる。
このような均一なクレジット割り当てはトークンレベルのトレーニングシグナルをほとんど誤配置していることを示す。
本稿では,トークン再重み付け手法であるActFocusを提案する。
論文 参考訳（メタデータ） (2026-05-14T08:33:02Z) - Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。
我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。
OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
論文 参考訳（メタデータ） (2026-01-12T10:48:02Z) - TGDPO: Harnessing Token-Level Reward Guidance for Enhancing Direct Preference Optimization [73.16975077770765]
近年の強化学習の進歩は、きめ細かいトークンレベルの報酬モデルを利用することで、PPO(Pximal Policy Optimization)の性能を大幅に向上させることができることを示している。
直接選好最適化(DPO)のガイダンスとしてこのようなトークンレベルの報酬を活用することは困難である。
この研究は、PPOをトークンレベルのポリシー最適化問題列に分解し、トークンレベルの報酬ガイダンスでトークンレベルのPPOの問題をフレーム化する。
論文 参考訳（メタデータ） (2025-06-17T14:30:06Z) - Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。
本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。
クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2024-11-29T18:58:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。