論文の概要: Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward

• arxiv url: http://arxiv.org/abs/2605.09920v1
• Date: Mon, 11 May 2026 03:15:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.489236
• Title: Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward
• Title（参考訳）: 固有勾配ノルムリワードによるLLMの検証自由RL
• Authors: Xuexiang Wen, Hang Yu, Linchao Zhu, Gaoang Wang,
• Abstract要約: 本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
• 参考スコア（独自算出の注目度）: 69.99652051809737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a promising post-training paradigm for Large Language Models (LLMs), its dependency on the gold label or domain-specific verifiers limits its scalability to new tasks and domains. In this work, we propose Verifier-free Intrinsic Gradient-Norm Reward (VIGOR), a simple reward that uses only the policy model itself. Given a prompt, VIGOR samples a group of completions and assigns higher within-group rewards to outputs that induce smaller $\ell_2$ norms of the teacher-forced negative log-likelihood gradients under the current parameters. Intuitively, lower gradient norms suggest the completion aligns better with the current policy, serving as an intrinsic preference signal for policy optimization. To make this intrinsic signal practical for RL, we correct the systematic length bias of averaged token-level gradients with a $\sqrt{T}$ scaling, and apply group-wise rank shaping to stabilize reward scales across prompts. Across mathematical reasoning benchmarks, VIGOR outperforms the state-of-the-art Reinforcement Learning from Internal Feedback (RLIF) baseline, and it also exhibits cross-domain transfer to code benchmarks when trained only on math data. For instance, on Qwen2.5-7B-Base post-trained on MATH, VIGOR improves the average math accuracy by +3.31% and the average code accuracy by +1.91% over this baseline, while exhibiting more stable training dynamics. The code is available at https://github.com/ZJUSCL/VIGOR.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR)は、最近、Large Language Models (LLMs)の有望なポストトレーニングパラダイムとして登場したが、ゴールドラベルやドメイン固有検証への依存は、そのスケーラビリティを新しいタスクやドメインに制限している。 本稿では,ポリシーモデル自体のみを利用する単純な報酬である,検証自由な内在性グラディエント・ノーム・リワード(VIGOR)を提案する。 プロンプトが与えられたら、VIGORは一連の完了をサンプリングし、現在のパラメータの下にある負の対数的勾配のより小さい$\ell_2$ノルムを誘導する出力により高いグループ内報酬を割り当てる。 直観的には、勾配の低いノルムは、完了が現在のポリシーと整合し、ポリシー最適化の本質的な優先信号として機能することを示唆している。 この本質的な信号をRLで実用化するために、平均トークンレベル勾配の体系的長さバイアスを$\sqrt{T}$スケールで補正し、グループワイド階数整形を適用して、プロンプト間の報酬スケールを安定化する。 数学的推論ベンチマーク全体では、VIGORは最先端のReinforcement Learning from Internal Feedback (RLIF)ベースラインよりも優れており、数学データのみに基づいてトレーニングされた場合のコードベンチマークへのクロスドメイン転送も行っている。 例えば、MATHでポストトレーニングされたQwen2.5-7B-Baseでは、VIGORは平均数学の精度を+3.31%、平均符号の精度を+1.91%改善し、より安定したトレーニングダイナミクスを示している。 コードはhttps://github.com/ZJUSCL/VIGOR.comで公開されている。

関連論文リスト

• REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
  回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。 我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-03-17T21:19:08Z)
• From $\boldsymbol{\logπ}$ to $\boldsymbolπ$: Taming Divergence in Soft Clipping via Bilateral Decoupled Decay of Probability Gradient Weight [6.07556923512707]
  Reinforcement Learning with Verifiable Rewards (RLVR)は、Large Language Model (LLM)推論の飛躍を触媒しているが、その最適化のダイナミクスは脆弱である。 GRPOのような標準的なアルゴリズムはハードクリッピングを通じて安定性を強制する。 本稿では,重要サンプリング比に基づくデカップリング崩壊機構を用いたデカップリング・グラディエント・ポリシー・最適化(DGPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-15T14:00:48Z)
• GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
  強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-25T01:54:50Z)
• The Optimal Token Baseline: Variance Reduction for Long-Horizon LLM-RL [39.23942538769713]
  大規模言語モデルのための強化学習(LLMs)は、勾配のばらつきが爆発的に広がるため、長い水平タスクのトレーニング崩壊に悩まされることが多い。 我々は、最適トークンベースライン(OTB)を第一原理から導出し、勾配更新が累積勾配ノルムに逆向きに重み付けされるべきであることを証明した。 提案手法はトレーニングの安定性を達成し,N=32$の大規模グループサイズとの性能を一致させ,シングルターンおよびツール統合推論タスクにおけるトークン消費量を65%以上削減する。
  論文  参考訳（メタデータ） (2026-02-06T03:16:04Z)
• Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values [53.72318444646282]
  RLEV(Reinforcement Learning with Explicit Human Values)を提案する。 RLEVは、Large Language Model (LLM) 最適化を直接、定量化された人間の値信号と整合させる。 RLEVは、複数のRLアルゴリズムとモデルスケールで、精度のみのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-23T04:15:22Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
  検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである 我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の 我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
  論文  参考訳（メタデータ） (2025-06-02T06:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。