論文の概要: DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2605.21467v1
• Date: Wed, 20 May 2026 17:53:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.827879
• Title: DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards
• Title（参考訳）: DelTA: 検証可能なリワードからの強化学習のための差別的なトークンクレジット割り当て
• Abstract要約: 検証可能な報酬(RLVR)からの強化学習は、大規模言語モデルの推論能力を向上させる中心的な手法として現れている。 本稿では、RLVR更新の判別器ビューを導入し、ポリシー段階の更新方向がトークン段階のベクトルに対する線形判別器として暗黙的に機能することを示す。 我々は,トークン係数を推定し,トークンの偏差方向を増幅する識別トークンクレジット割当手法であるDelTAを提案する。
• 参考スコア（独自算出の注目度）: 41.76858591194076
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reinforcement learning from verifiable rewards (RLVR) has emerged as a central technique for improving the reasoning capabilities of large language models. Despite its effectiveness, how response-level rewards translate into token-level probability changes remains poorly understood. We introduce a discriminator view of RLVR updates, showing that the policy-gradient update direction implicitly acts as a linear discriminator over token-gradient vectors and thereby determines which token probabilities are increased or decreased during learning. Under standard sequence-level RLVR, this discriminator is constructed from positive- and negative-side centroids formed by advantage-weighted averaging of token-gradient vectors. However, such centroid construction can be dominated by shared high-frequency patterns, such as formatting tokens, diluting sparse yet discriminative directions that better distinguish high-reward responses from low-reward ones. To address this limitation, we propose $\textbf{DelTA}$, a discriminative token credit assignment method that estimates token coefficients to amplify side-specific token-gradient directions and downweight shared or weakly discriminative ones. These coefficients reweight a self-normalized RLVR surrogate, making the effective side-wise centroids more contrastive and thereby reshaping the RLVR update direction. On seven mathematical benchmarks, DelTA outperforms the strongest same-scale baselines by 3.26 and 2.62 average points on Qwen3-8B-Base and Qwen3-14B-Base, respectively. Additional results on code generation, a different backbone, and out-of-domain evaluations further demonstrate the generalization ability of DelTA.
• Abstract（参考訳）: 検証可能な報酬(RLVR)からの強化学習は、大規模言語モデルの推論能力を向上させる中心的な手法として現れている。 その効果にもかかわらず、応答レベルの報酬がトークンレベルの確率変化にどのように変換されるかは理解されていない。 本稿では,RLVR更新の判別器ビューを導入し,トークン次数ベクトル上の線形判別器として政策次数更新方向が暗黙的に機能することを示し,学習中にトークンの確率が増加するか低下するかを決定する。 標準シーケンスレベルのRLVRでは、この判別器は、トークン勾配ベクトルの利点重み付き平均化によって形成される正および負の側セントロイドから構成される。 しかし、このようなセントロイド構成は、トークンのフォーマット化、スパースを希釈するが、低逆応答と低逆応答をよりよく区別する識別方向などの共有高周波パターンによって支配される。 この制限に対処するために、トークン係数を推定し、サイド固有なトークン勾配方向とダウンウェイトを増幅する識別トークンクレジット代入法である$\textbf{DelTA}$を提案する。 これらの係数は自己正規化されたRLVRサロゲートを再重み付けし、有効なサイドワイドセントロイドをよりコントラストにし、それによってRLVR更新方向を再構成する。 7つの数学ベンチマークにおいて、DelTAはQwen3-8B-BaseとQwen3-14B-Baseでそれぞれ3.26と2.62の平均点をそれぞれ上回っている。 コード生成、異なるバックボーン、ドメイン外評価に関するさらなる結果は、DelTAの一般化能力をさらに証明している。

関連論文リスト

• Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning [3.9783774144289623]
  GRPOのような批判のない方法は、応答レベルの報酬を利点に変換し、トークン間で均一にブロードキャストする。 本稿では,高感度トークンのクレジットを低減するGRPOの簡易拡張であるCSCRを提案する。 long-CoTの数学的推論ベンチマークでは、CSCRはGRPOベースラインを同じ数のポリシー更新で一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-30T09:03:33Z)
• Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations [46.90253276172931]
  本稿では,人間による実演からの学習信号を用いて,検証可能な報酬を増大させる逆生成・差別化フレームワークを提案する。 提案手法は,RLVRの精度向上を保ちながら,不検証特性を常に改善する。 バグ修正では,RLVRベースラインに比べて編集距離が大幅に低い。
  論文  参考訳（メタデータ） (2026-07-01T17:13:35Z)
• Which Tokens Matter? Adaptive Token Selection for RLVR with the Relative Surprisal Index [6.642733744927882]
  我々は,政策最適化のダイナミクスを捉えるには,サンプルトークンの確率やエントロピーを単独で評価することは不十分であると主張している。 本稿では,トークンのエントロピーと選択したトークンの確率を自然に結合する原理的情報理論の指標であるRelative Surprisal Index(RSI)を紹介する。 RSIは,ロジト次数ノルムの1次変動と,選択したロジト摂動の下での予測エントロピーの局所比に関係していることを示す。
  論文  参考訳（メタデータ） (2026-06-30T12:33:19Z)
• PRPO: Perception-Reinforced Policy Optimization via Token-Level Dynamic Advantage Reshaping [5.89473045822308]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、LVLM(Large Vision-Language Models)の推論能力向上に有効なパラダイムとなっている。 既存のRLVR法は、全ての生成されたトークンに対して同一の学習信号を割り当てる軌道レベルの結果報酬に依存している。 本稿では,重要な知覚トークンを明確に識別し,強化するトークンレベルの強化学習フレームワークである知覚強化政策最適化(PRPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-07T16:06:29Z)
• Leveraging Error Diversity in Group Rollouts for Reinforcement Learning [61.10980882949414]
  Reinforcement Learning from Verifiable Rewards (RLVR) は通常、プロンプト毎に複数のレスポンスをサンプリングし、個々の正確性に基づいてバイナリ報酬を割り当てる。 グループ内エラーの多様性に基づいて,不正なロールアウトに対して有利なシグナルを変調するために,EDAS(Error Diversity Advantage Shaping)を提案する。 EDASは、任意のRLVRアルゴリズムにシームレスに統合できるシンプルなポストホック調整として動作する。
  論文  参考訳（メタデータ） (2026-05-17T08:52:31Z)
• SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs [55.46289074417954]
  検証可能な報酬(RLVR)による強化学習は、推論タスクのpass@1を確実に改善するが、pass@kでは同等の利得を得られないことが多い。 中心的な構造的制約は、トレーニングを安定させるが、本質的には基準分布にポリシーを固定する逆-KL正規化から生じる。 我々は,逆KLアンカー分布自体を再構成することで,制御可能な経験的サポート拡張を可能にする,原則化されたフレームワークであるSAGEを提案する。
  論文  参考訳（メタデータ） (2026-05-15T07:42:21Z)
• Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective [10.958642517467721]
  RLVRにおけるコントラストシーケンスレベルのポリシー最適化のためのフレームワークを提案する。 ConSPOはGRPOのクリップされた比率ベースのスコアを、長さ正規化されたシーケンスログ確率に置き換える。 ConSPOは、挑戦的な数学的推論ベンチマークにおいて、いくつかの強力なRLVRベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-13T04:02:36Z)
• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• The Cancellation Hypothesis in Critic-Free RL: From Outcome Rewards to Token Credits [56.379030343338776]
  トークンレベルでの批判フリーなRLについて検討し,トークンフライング現象を明らかにした。 トークンの確率変化は、それ自身の利点によって完全に決定されないことを示し、他のトークンとの結合勾配相互作用も無視できない役割を担っている。
  論文  参考訳（メタデータ） (2026-05-09T04:07:20Z)
• ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning [60.411097231348975]
  RLVRによる強化学習は大規模言語モデル(LLM)の推論を強化する 本稿では,正と負の応答間で類似した意味分布を分離する,正のサンプル投影Residual Reinforcement Learning (ResRL)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T03:57:44Z)
• Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning [17.384089089363382]
  既存の手法が見落としている根本原因を同定する。 現在のアプローチでは、グループ内のすべての誤ったロールアウトを同一に扱う。 非対称信頼度を考慮した誤り罰(ACE)を提案する。
  論文  参考訳（メタデータ） (2026-02-24T22:46:43Z)
• Writing-Zero: Bridge the Gap Between Non-verifiable Tasks and Verifiable Rewards [11.149294285483782]
  我々は、検証不可能なタスクと検証可能な報酬のギャップを埋める統一的なRLVRベースのトレーニングパラダイムを提案する。 本稿では,GenRMとBootstrapped Relative Policy Optimization (BRPO)アルゴリズムを提案する。 提案手法は,LLMが微調整を監督せずに堅牢な書込み機能を開発する上で有効である。
  論文  参考訳（メタデータ） (2025-05-30T14:34:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。