Fugu-MT 論文翻訳(概要): LatentRevise: Learning from Zero-Hit Reasoning

論文の概要: LatentRevise: Learning from Zero-Hit Reasoning

arxiv url: http://arxiv.org/abs/2606.29938v1
Date: Mon, 29 Jun 2026 08:14:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:16.123606
Title: LatentRevise: Learning from Zero-Hit Reasoning
Title（参考訳）: LatentRevise: Zero-Hit Reasoningから学ぶ
Abstract要約: 検証可能な報酬を伴う強化学習は、正しい軌道の確率が低いハードプロンプトによってボトルネックされる。我々は、RLVRのサンプリングフロンティアのようなゼロヒットプロンプトをフレーム化します。本稿では,このゼロヒット方式のトレーニング信号を復元する1次遅延修正手法であるLatentReviseを紹介する。
参考スコア（独自算出の注目度）: 46.1536368072511
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning with verifiable rewards (RLVR) is bottlenecked by hard prompts on which correct trajectories have low probability, so sampling misses them within a practical budget and leaves the policy update with little useful signal. We frame such zero-hit prompts as RLVR's sampling frontier, where new reasoning behavior is most valuable yet least likely to be sampled. Importantly, failed rollouts can be informative: they expose where the model's reasoning went wrong. We introduce LatentRevise, a first-order latent revision method that recovers training signal for this zero-hit regime. Given a failed rollout and the gold answer as an anchor, LatentRevise optimizes the input embeddings of its reasoning prefix under two complementary gradients, moving the prefix away from the failed continuation and toward the gold answer. The optimization is constrained to the convex hull of the model's vocabulary embeddings, so each update moves the latent toward a real token embedding rather than an arbitrary feature direction. We find that continuations from the revised prefix lengthen, exhibit self-reflection, and reach correct answers missed by the original rollouts. Used as training data, these trajectories improve SFT and RLVR on math benchmarks over standard baselines.
Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、正しい軌道の確率が低いハードプロンプトによってボトルネックされるため、サンプリングは実際の予算内でそれらを見逃し、ポリシー更新をほとんど有用な信号で残す。我々は、RLVRのサンプリングフロンティアのようなゼロヒットプロンプトをフレーム化します。重要なのは、失敗したロールアウトが有益なことだ。本稿では,このゼロヒット方式のトレーニング信号を復元する1次遅延修正手法であるLatentReviseを紹介する。ロールアウトが失敗し、金の答えがアンカーとして与えられると、LatentReviseは2つの補完的な勾配の下で推論プレフィックスの入力埋め込みを最適化し、失敗した継続から金の解へとプレフィックスを移動させる。最適化はモデルの語彙埋め込みの凸内包に制約されるため、各更新は任意の特徴方向ではなく実際のトークン埋め込みへ移行する。修正プレフィックスからの継続が延長され、自己反映が示され、元のロールアウトで見逃された正しい回答に達することが判明した。トレーニングデータとして使用されるこれらのトラジェクトリは、標準ベースラインよりも数学ベンチマークのSFTとRLVRを改善する。

関連論文リスト

Verifier-Induced Support Reshaping in On-Policy Optimization [27.782412748608255]
検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
論文参考訳（メタデータ） (2026-07-31T19:05:43Z)
REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文参考訳（メタデータ） (2026-06-17T10:37:23Z)
Understanding Diversity Collapse in RLVR via the Lens of Overtraining [78.37408098404312]
検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力を高めるための重要なアプローチとなっている。我々は、この多様性の崩壊をエンフェーバートレーニングのレンズを通してフォーマルに定式化する本稿では,各問題の限界寄与を推論境界に推定することにより,オーバートレーニングから最適化をリダイレクトするemphBayesian boundary Gating (BBG)を提案する。
論文参考訳（メタデータ） (2026-06-13T20:13:37Z)
Learning to Solve, Forgetting to Retain: Correct-Set Turnover in RLVR [16.681943272535104]
検証可能な報酬(RLVR)による強化学習は、大きな言語モデルの能力を向上させるが、見出し精度の向上は隠れたコストを隠蔽することが多い。我々は、マスタされたプロンプトを追跡し、それを定期的に再導入して、過去のソリューションのモデルをtextbfremindに再導入するリテンション対応レビューメカニズムであるtextbfmethodを提案する。
論文参考訳（メタデータ） (2026-06-02T03:17:34Z)
Adaptive Negative Reinforcement for LLM Reasoning:Dynamically Balancing Correction and Diversity in RLVR [6.291433683451589]
検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力向上に有効な方法となっている。最近の研究では、NSR(Negative Sample Reinforcement)がPPOやGRPOのようなより複雑なフレームワークのパフォーマンスに適合または超えることが示されている。我々は,NSRフレームワークの拡張として,適応型負のサンプル強化と信頼度重み付き負の強化の2つを提案する。
論文参考訳（メタデータ） (2026-05-08T02:13:33Z)
How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
論文参考訳（メタデータ） (2026-03-09T17:38:11Z)
Reinforcement Learning via Self-Distillation [37.078107691613155]
大規模言語モデルは、コードや数学などの検証可能な領域で強化学習を施して、ポストトレーニングされている。検証可能な報酬(RLVR)を用いた強化学習の現在の手法は、試みごとにスカラーな結果報酬からのみ学習し、深刻な信用割り当てボトルネックを生み出す。我々は、この設定をリッチフィードバックによる強化学習として定式化し、自己蒸留政策最適化(SDPO)を導入する。 SDPOは、トークン化されたフィードバックを、外部教師や明示的な報酬モデルなしで、密集した学習信号に変換する。
論文参考訳（メタデータ） (2026-01-28T17:45:12Z)
From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。このようにして、RLVRRは報酬を2つの次元に分解する。
論文参考訳（メタデータ） (2026-01-26T14:39:58Z)
Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文参考訳（メタデータ） (2025-10-01T13:56:44Z)
The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
論文参考訳（メタデータ） (2025-06-02T06:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。