論文の概要: bf16 Rounding Silently Discards Most RL Policy Updates: A Hidden Training-Inference Mismatch and an Unbiased One-Line Fix

• arxiv url: http://arxiv.org/abs/2610.41073v1
• Date: Thu, 29 Oct 2026 23:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.554275
• Title: bf16 Rounding Silently Discards Most RL Policy Updates: A Hidden Training-Inference Mismatch and an Unbiased One-Line Fix
• Title（参考訳）: 隠れたトレーニング推論ミスマッチと偏りのないワンライン修正
• Abstract要約: 言語モデルの訓練後、fp32マスターウェイトはミスマッチに保持され、ラウンド・トゥ・アレスト変換によって生成されたbf16コピーからのロールアウトを提供する。 フェアキャスト(Fair Cast)を提案する: 未バイアスのラウンドリングルール(確率的なラウンドリングやエラーフィードバック)でマスターをエクスポートし、提供されたコピーのトレーニング損失を計算する。
• 参考スコア（独自算出の注目度）: 0.6918282834668528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) post-training of language models keeps fp32 master weights in the optimizer and serves rollouts from a bf16 copy produced by round-to-nearest conversion. At the learning rates in common use, most per-step updates are smaller than half a bf16 spacing and the conversion discards them: on Qwen3-1.7B only 0.4-0.5% of served weights change per step, and the policy that generates the training data lags the optimizer by 50-150 steps. Existing mismatch corrections cannot see this lag because they compare two copies downstream of the same rounding. We propose Fair Cast: export the master with an unbiased rounding rule (stochastic rounding or error feedback) and compute the training loss on the served copy. The change is one line at the export call, adds no hyperparameters and costs 22-38 ms per export of 1.7B parameters. Across 25 matched seed-pairs on Qwen3-0.6B to 4B with AdamW and Muon, Fair Cast is ahead on 18, tied on 6 and behind on 1, with a mean gain of 6.1 points; on zebra puzzles it reaches 0.57 +/- 0.16 over four runs where round-to-nearest collapses to 0.33 +/- 0.10. It also makes the saved fp32 checkpoint agree with the served model, and it exposes the implicit lag of round-to-nearest as a regularizer that can be restored explicitly when a task needs it.
• Abstract（参考訳）: 言語モデルの強化学習(RL)は、fp32マスターウェイトをオプティマイザに保持し、ラウンド・ツー・アレスト変換によって生成されたbf16コピーからのロールアウトを提供する。 Qwen3-1.7Bでは、1ステップあたりのサービスウェイトの変化は0.4-0.5%に過ぎず、トレーニングデータを生成するポリシーはオプティマイザを50-150ステップ遅れさせる。 既存のミスマッチ補正では、同じラウンドの下流で2つのコピーを比較するため、このラグを見ることができない。 フェアキャスト(Fair Cast)を提案する: 未バイアスのラウンドリングルール(確率的なラウンドリングやエラーフィードバック)でマスターをエクスポートし、提供されたコピーのトレーニング損失を計算する。 この変更はエクスポートコールの1行で、ハイパーパラメータを追加せず、1.7Bパラメータのエクスポートあたり22-38ミリ秒のコストがかかる。 Qwen3-0.6Bで4BでAdamWとMuonにマッチした25点中、Fair Castは18点に上り、6点、後方に6点、平均利得は6.1ポイント、ゼブラパズルでは0.57+/-0.16に到達し、ラウンド・トゥ・アレストは0.33+/-0.10に崩壊した。 また、保存されたfp32チェックポイントをサービスモデルと一致させ、タスクが必要な時に明示的に復元できる正規化子として、ラウンド・トゥ・アネレストの暗黙のラグを露呈する。

関連論文リスト

• Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution [48.87945011066967]
  本研究では, 動的経路混合(MoE)モデルのポストトレーニングについて検討し, コンソリデーション効率を維持しつつ, 独立的に最適化されたスペシャリストの統合に着目した。 提案手法は,教師が選択したTop-$K$サポートと教師の損失正規化とクリッピングを併用した校正型多目的蒸留(C-MOPD)と,ポストキャパシティ境界幅ディスパッチ,終局リプレイ,非同期ロールアウト-トレーニングオーバーラップを用いた実行パスを組み合わせたものである。
  論文  参考訳（メタデータ） (2026-10-29T11:52:20Z)
• What a Weight Update Buys: Leverage Across Training Stages [0.0]
  ポストトレーニングは、言語モデルの重みを標準の約1000分の1にし、その振る舞いを鋭く変化させる。 ウェイト・チェンジ・ユニットが何を買うかの正確な測度であるレバレッジを導入する。 トレーニングの精度がアップデートの外観を変えることが分かりました。
  論文  参考訳（メタデータ） (2026-10-27T06:42:49Z)
• Lost in the bf16 Cast: Exporting Ternary Language Models Can Revert Most Low-Learning-Rate Code Changes [0.7537475180985097]
  BitNet b1.58、Falcon-E、BitCPMといった第三次言語モデルは、高精度の潜時重みで微調整され、第三次符号としてデプロイされる。 パイプラインを3つのラボで監査します。 リリースされたチェックポイントでは、出荷されたラテントのfp32量子化は、Falcon-E と BitCPM のコードの 0.83-1.77%、BitNet 2B-4T の 1.530% でデプロイされたコードと一致しない。
  論文  参考訳（メタデータ） (2026-10-06T06:58:35Z)
• One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
  凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。 また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。 Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
  論文  参考訳（メタデータ） (2026-09-20T14:54:35Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Scaling Post-Training Ternarisation to Qwen3-8B Capability Retention, Reproduction, Lossless Packing, and Packed Execution [0.0]
  本研究では,Qwen3-4BからQwen3-8Bへのアグレッシブ後変換パイプラインのスケールアップについて検討する。 この変換では、KOTMS回転、E2M-ATQ適応三元化、重量のみのA16構成でのGPTQスタイルの誤り補償が使用される。
  論文  参考訳（メタデータ） (2026-09-08T06:21:44Z)
• Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment [0.0]
  ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。 KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。 有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
  論文  参考訳（メタデータ） (2026-09-02T00:42:54Z)
• Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
  Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。 重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。 補償は普遍的よりもトークン効率が高く低予算の勝利である。
  論文  参考訳（メタデータ） (2026-08-03T19:44:08Z)
• SOAR: Self-Correction for Optimal Alignment and Refinement in Diffusion Models [48.335262141752715]
  拡散モデルのための後トレーニングパイプラインには、キュレートされたデータに対する教師付き微調整(SFT)と報酬モデルによる強化学習(RL)の2段階がある。 本稿では,このギャップを埋めるバイアス補正ポストトレーニング法であるSOAR(Self-Correction for Optimal Alignment and Refinement)を提案する。 オンライン政治であり、報酬なしであり、クレジット割り当ての問題なく、時間ごとの密集した監督を提供する。
  論文  参考訳（メタデータ） (2026-04-14T11:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。