論文の概要: Rethinking Training-Inference Mismatch in LLM Reinforcement Learning: Where It Arises and How to Correct It

• arxiv url: http://arxiv.org/abs/2609.32444v1
• Date: Sat, 26 Sep 2026 10:21:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 09:06:05.901547
• Title: Rethinking Training-Inference Mismatch in LLM Reinforcement Learning: Where It Arises and How to Correct It
• Title（参考訳）: LLM強化学習におけるトレーニング推論ミスマッチの再考
• Abstract要約: 政策更新における不一致を考慮した重要サンプリング(CIS)を導入する。 CISは、切り捨てられた重要度サンプリングよりも、低信頼トークンに対するトラクションバイアスが少ない。 診断分析により、CISは重要度サンプリングよりも低信頼トークンにトラクションバイアスが少ないことが示された。
• 参考スコア（独自算出の注目度）: 17.395362580137522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study training-inference mismatch in reinforcement learning with verifiable rewards (RLVR) for large language models, where rollouts are sampled by an inference engine while gradients are computed by a training engine, and the two engines assign different probabilities to the same tokens. To account for this discrepancy in policy updates, we introduce calibrated importance sampling (CIS). CIS is motivated by an empirically supported logit-displacement characterization that expresses the mismatch as an additive displacement $\varepsilon_t$ in log-odds, determined by the per-logit perturbation before the softmax, whose distribution is approximately invariant to token confidence. This characterization motivates a confidence-aware truncation: large positive displacements are truncated at a single constant threshold, which maps back to an importance-ratio cap that tightens as token confidence increases. Theoretically, we show that CIS replaces the unbounded second moment that governs the error of exact importance sampling with a term bounded by a constant, at the cost of a bias controlled by the truncated excess. In evaluation across three mixture-of-experts models and five mathematical reasoning benchmarks, CIS achieves the highest five-benchmark average on all three models among the evaluated baselines. Diagnostic analyses show that CIS places less truncation bias on low-confidence tokens than truncated importance sampling, while upward clipping of small importance weights reduces held-out accuracy.
• Abstract（参考訳）: 本研究では,大規模言語モデルに対する検証可能な報酬(RLVR)を用いた強化学習におけるトレーニング-推論ミスマッチについて検討し,推論エンジンでロールアウトをサンプリングし,勾配をトレーニングエンジンで計算し,異なる確率を同一のトークンに割り当てた。 政策更新におけるこの相違を考慮し、校正された重要度サンプリング(CIS)を導入する。 CIS は経験的に支持されたロジット変位特性によって動機付けられ、このミスマッチは、トークンの信頼度にほぼ不変であるソフトマックスの前のログ単位の摂動によって決定される付加変位$\varepsilon_t$ in log-oddsとして表現される。 大きな正の変位は1つの一定しきい値で切り離され、トークンの信頼度が増大するにつれて引き締められる重要比の上限に写像される。 理論的には、CISは、正確な重要度サンプリングの誤差を、乱れ余剰によって制御されるバイアスのコストで、定数で有界な項に置き換えることを示した。 CISは3つの実験モデルと5つの数学的推論ベンチマークで評価を行い、評価ベースラインのうち3つのモデルで最高5ベンチマーク平均を達成した。 診断解析により、CISは重要度サンプリングよりも低信頼度トークンのトラクションバイアスが少なく、一方、少量の重みを上向きに切り取ると精度が低下することが示された。

関連論文リスト

• Are We Overconfident in Models and Results for Semi-Supervised 3D Medical Image Segmentation? [4.120238673372104]
  半教師付き学習は、アノテーションのコストを削減する主要なパラダイムとなっている。 現在の進歩は2倍の過信問題によって曇っていると我々は主張する。 本稿では,二軸信頼性評価エンジン上に構築した三空間原理分割フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:16:40Z)
• Temper-Then-Tilt: Principled Unlearning for Generative Models through Tempering and Classifier Guidance [51.532841645285835]
  本研究では,タスクを目標分布に対する密度比推定としてフレーミングすることで,大規模生成モデルにおける機械学習について検討する。 左折集合がシャープで集中したデータ分布を表す場合、有限サンプルで忠実に解けないことを示す。 本稿では,基本モデルを凍結し,二段階の推論手法を適用したTemper-Then-Tilt Unlearning(T3-Unlearning)を提案する。
  論文  参考訳（メタデータ） (2026-02-10T19:08:40Z)
• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
  TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。 この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-10T07:32:40Z)
• TeLeS: Temporal Lexeme Similarity Score to Estimate Confidence in End-to-End ASR [1.8477401359673709]
  クラス確率に基づく信頼スコアは、自信過剰なASR予測の品質を正確に表すものではない。 信頼度推定モデル(CEM)を訓練するためのTeLeS(Temporal-Lexeme similarity)の信頼性スコアを提案する。 我々は、ヒンディー語、タミル語、カナダ語という3つの言語で訓練されたASRモデルを用いて、様々なトレーニングデータサイズで実験を行う。
  論文  参考訳（メタデータ） (2024-01-06T16:29:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。