論文の概要: On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.40945v1
• Date: Thu, 29 Oct 2026 20:23:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.488161
• Title: On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning
• Title（参考訳）: LLM強化学習におけるトレーニング推論ミスマッチの起源と進化について
• Abstract要約: オンライン強化学習は、現在の政策からトレーニングの反応がサンプリングされることを前提としている。 実際には、推論エンジンが応答をサンプリングし、別のトレーナーが勾配を計算する。 ミスマッチには、エンジンの数値と非同期サンプリングの重みの2つのソースがある。
• 参考スコア（独自算出の注目度）: 11.59418373450866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy reinforcement learning for large language models assumes that training responses are sampled from the current policy. In practice, an inference engine samples the responses and a separate trainer computes the gradients, and the \textbf{training-inference mismatch} between the two makes the training data off-policy. The mismatch has two sources, the numerics of the engine and the stale weights of asynchronous sampling, and a correction that stabilizes training under one source can fail under the other. \textit{We ask which property of a mismatch source decides the correction it needs.} Evaluating the trainer at the sampler's weights splits each sampled-token error exactly into a \textit{numerical discrepancy} of the engine and a \textit{policy lag} of the trainer, and we follow both through training. The numerical discrepancy stays approximately constant, so it biases the updates by a nearly fixed amount, and centering the score at each prefix removes its leading bias. The policy lag is produced by the trainer's own updates: the bias it leaves enters the next update, which enlarges the next lag and closes a feedback loop. Importance weighting cuts this loop only while the lag ratio stays concentrated, and on Qwen3-1.7B it fails at the step where the effective sample size of the ratio falls below one half. From this account we derive the \textbf{discrepancy-lag correction} (DLC), which centers the numerical discrepancy, clips the lag ratio against the sampler's weights and resynchronizes the sampler when this effective sample size falls below one half. Under a stale sampler, DLC keeps the KL divergence from on-policy training within twice the KL between two independent on-policy trainings on Qwen3-0.6B and Qwen3-1.7B, and its resynchronization prevents collapses that the per-token corrections leave and that a KL measured on the sampler's prefixes does not detect.
• Abstract（参考訳）: 大規模言語モデルのオンライン強化学習は、現在の方針からトレーニング応答がサンプリングされることを前提としている。 実際には、推論エンジンが応答をサンプリングし、別のトレーナーが勾配を計算し、2つの間の \textbf{training-inference mismatch} がトレーニングデータをオフにします。 ミスマッチは、エンジンの数値と非同期サンプリングの重み付けと、一方のソースでのトレーニングを安定化する補正の2つのソースを有する。 ミスマッチソースのどのプロパティが必要な修正を決定するかを尋ねます。 サンプルの重量でトレーナーを評価すると、各サンプルのエラーをエンジンの \textit{numerical discrepancy} とトレーナーの \textit{policy lag} に正確に分割する。 数値的な不一致はほぼ一定であり、更新をほぼ一定量偏りにし、各接頭辞にスコアを集中させることで、その先行バイアスを除去する。 ポリシラグは、トレーナー自身の更新によって生成される。次のアップデートにはバイアスが入り、次のラグを拡大し、フィードバックループを閉じる。 重み付けは、ラグ比が集中している間だけこのループを切断し、Qwen3-1.7Bでは、有効サンプルサイズが半減するステップで失敗する。 この結果から, 数値的差分を中心とした<textbf{discrepancy-lag correct} (DLC) を導出し, 試料の重量に対するラグ比を切断し, この有効試料径が半減すると再同期する。 古いサンプル装置の下では、DLCは、Qwen3-0.6BとQwen3-1.7Bの2つの独立したオンライントレーニングの間のKLの2倍の範囲内で、KLの分散を保ち、その再同期により、各修正が終了し、サンプリング器のプレフィックスで測定されたKLが検出されない崩壊を防ぐ。

関連論文リスト

• RollVerify: Bridging Efficiency and Accuracy in Long-Tail Rollout Reinforcement Learning [52.85109240617592]
  RollVerifyは、部分的なロールアウト上に構築された軽量なReinforcement Learningフレームワークである。 訓練に入る前にサンプルを検証し、修復する。 トレーニングコストを削減しつつ、オンデマンドトレーニングに匹敵する精度を達成する。
  論文  参考訳（メタデータ） (2026-10-07T12:05:33Z)
• Task Vector Descent: Learning from Non-IID Batches [73.36333480977952]
  モデルをアクティブディストリビューションに適応させることは、アクティブディストリビューションのモデルを改善することができるが、以前トレーニングされたデータのパフォーマンス低下につながる可能性がある。 完全変位(=1$)と部分積分(英語版)を比較し、継続モデルに適用する前にタスクベクトルを$$スケールし、同じ係数で状態をスケールする。
  論文  参考訳（メタデータ） (2026-10-04T17:37:49Z)
• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• AsyncOPD: How Stale Can On-Policy Distillation Be? [23.273855195545394]
  オンライン蒸留(OPD)は、教師のフィードバックによって指導された独自のロールアウトで学生を訓練する。 非同期トレーニングパイプラインは、学習者の更新からロールアウト生成を分離することで、このボトルネックを軽減することができる。 本研究は,非同期PDの安定性に関する最初の体系的研究である。
  論文  参考訳（メタデータ） (2026-06-23T04:50:49Z)
• AIS: Adaptive Importance Sampling for Quantized RL [21.387834718338496]
  大規模言語モデル(LLM)の強化学習はロールアウト生成のコストに支配されている。 これは、ロールアウトトレーニングミスマッチを導入し、ポリシー勾配を偏り、推論ベンチマークでトレーニングが完全に崩壊する可能性がある。 このミスマッチは非定常的であり、二重刃の剣として機能し、初期のトレーニングでは探索ボーナスを提供し、トレーナーがアンダーサンプするトラジェクトリーへの勾配を露呈する。 本稿では,適応的重要度サンプリング(AIS)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T03:36:57Z)
• Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
  オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。 推定器と実装側からOPDを再検討する。 不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
  論文  参考訳（メタデータ） (2026-03-26T15:35:59Z)
• Prompt Tuning Pushes Farther, Contrastive Learning Pulls Closer: A Two-Stage Approach to Mitigate Social Biases [13.837927115198308]
  本稿では,コントラスト学習と連続的プロンプト拡張を用いた逆トレーニングによる2段階脱バイアスモデルを提案する。 我々のアプローチは、トレーニングプロセスに困難を加えることで、より強固なデバイアス性能を達成するためのモデルを導出します。
  論文  参考訳（メタデータ） (2023-07-04T09:35:03Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Learnable Distribution Calibration for Few-Shot Class-Incremental Learning [122.2241120474278]
  FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。 本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:40:26Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。