論文の概要: CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization

• arxiv url: http://arxiv.org/abs/2605.19436v1
• Date: Tue, 19 May 2026 06:46:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.169435
• Title: CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization
• Title（参考訳）: CEPO:コントラストエビデンスポリシー最適化を用いたRLVR自己蒸留
• Authors: Ahmed Heakl, Abdelrahman M. Shaker, Youssef Mohamed, Rania Elbadry, Omar Fetouh, Fahad Shahbaz Khan, Salman Khan,
• Abstract要約: 検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル 各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。 コントラストエビデンスポリシー最適化(CEPO)を提案する。 CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
• 参考スコア（独自算出の注目度）: 50.59956036193097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a model produces a correct solution under reinforcement learning with verifiable rewards (RLVR), every token receives the same reward signal regardless of whether it was a decisive reasoning step or a grammatical filler. A natural fix is to condition the model on the correct answer as a teacher, identifying tokens it would have generated differently had it known the answer. Prior work shows this either corrupts training by leaking the answer into the gradient, or produces a weak signal that cannot distinguish decisive steps from filler, since both look equally surprising relative to the model's baseline. We propose Contrastive Evidence Policy Optimization (CEPO), which asks a sharper question at every token: not just "does the correct answer favor this token?" but "does the correct answer favor it while the wrong answer disfavors it?" A token satisfying both is a genuine reasoning step; one satisfying neither is filler. The wrong-answer teacher is constructed from rejected rollouts already in the training batch, incurring no additional sampling cost. We prove CEPO inherits all structural safety guarantees of the prior state of the art while strictly sharpening credit at decisive tokens, with the improvement vanishing exactly at filler positions. Empirically, CEPO achieves 43.43% and 60.56% average accuracy across five multimodal mathematical reasoning benchmarks at 2B and 4B scale, respectively, versus 41.17% and 57.43% for GRPO under identical training budgets. Distribution-matching self-distillation methods (OPSD, SDPO) fall below the untrained baseline, empirically confirming the information leakage our theory predicts. Our code is available at https://github.com/ahmedheakl/CEPO.
• Abstract（参考訳）: モデルが検証可能な報酬(RLVR)を持つ強化学習の下で正しい解を生成する場合、各トークンは決定的推論ステップか文法的フィラーであるかに関わらず、同じ報酬信号を受信する。 自然な修正は、正解のモデルを教師として条件付けすることであり、それが答えを知っていれば、異なる方法で生成されたトークンを特定することである。 以前の研究は、解答を勾配に漏れさせることでトレーニングを損なうか、モデルのベースラインに対して等しく驚くべきように見えるため、フィラーと決定的なステップを区別できない弱い信号を生成するかのどちらかを示している。 コントラスト的エビデンスポリシ最適化(CEPO)を提案します。これは,すべてのトークンに対して,よりシャープな質問を行うものです – “正しい回答はトークンを好むか?” だけでなく,“正しい回答はそれを好むか,間違った回答はそれを好まないか?” です。 両方を満たすトークンは真の推論ステップであり、どちらも満たさないトークンはフィラーである。 不正回答教師は、既にトレーニングバッチにある拒絶されたロールアウトから構築され、追加のサンプリングコストは発生しない。 CEPOは、先進国のすべての構造的安全保証を継承すると同時に、決定的トークンの信用を厳格に強化し、フィラーポジションにおける改善が完全に消滅していることを証明します。 CEPOは2Bスケールと4Bスケールの5つのマルチモーダル数学的推論ベンチマークで平均43.43%と60.56%の精度を達成しており、GRPOのトレーニング予算は41.17%と57.43%である。 分布整合型自己蒸留法 (OPSD, SDPO) はトレーニングされていないベースラインより低く, 理論が予測する情報漏洩を実証的に確認する。 私たちのコードはhttps://github.com/ahmedheakl/CEPO.comで公開されています。

関連論文リスト

• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• IAPO: Information-Aware Policy Optimization for Token-Efficient Reasoning [47.55414301744048]
  既存のシーケンスレベルの報酬形成手法はトークン間での推論の取り組みを限定的に制御できると主張している。 我々は,各トークンの条件付き相互情報に基づいてトークンの利点を割り当てる情報理論後学習フレームワークIAPOを提案する。 IAPOは推論精度を常に改善し、推論長を最大36%削減し、既存のトークン効率のRL法より優れている。
  論文  参考訳（メタデータ） (2026-02-22T05:30:14Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
  検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである 我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の 我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
  論文  参考訳（メタデータ） (2025-06-02T06:10:54Z)
• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function [50.812404038684505]
  我々は,ベルマン方程式を満たす一般逆Q-ラーニングアルゴリズムとして,トークンレベルMDPのDPOを導出できることを示す。 本稿では,マルチターン対話における情報活用,推論,エージェント応用,マルチモデルシステムのエンドツーエンドトレーニングなど,我々の研究の応用について論じる。
  論文  参考訳（メタデータ） (2024-04-18T17:37:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。