論文の概要: Where Rounding Happens Matters: Rounding-Location Alignment Stabilizes LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.32951v1
• Date: Fri, 23 Oct 2026 17:45:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.626098
• Title: Where Rounding Happens Matters: Rounding-Location Alignment Stabilizes LLM Reinforcement Learning
• Title（参考訳）: ラウンド・ロケーション・アライメントはLLM強化学習を安定化させる
• Abstract要約: 大規模言語モデルの強化学習は、しばしば推論とトレーニングに別々のシステムを使用する。 既存の改善は、推論とトレーニングスタック全体を調整したり、グローバルな精度を変更したり、学習アルゴリズムを変更したりする。 実装の相違点が残る間、BF16 RLを安定させることができるかどうかを問う。
• 参考スコア（独自算出の注目度）: 22.16861735710727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning for large language models often uses separate systems for inference and training. Even with identical weights and BF16 tensors, implementation differences can make an intended on-policy update off-policy and destabilize training. Existing remedies align the entire inference and training stacks, change global precision, or modify the learning algorithm. We ask whether aligning selected parts of the execution stack can stabilize BF16 RL while other implementation differences remain. We align training-side rounding locations with inference in three regions---RoPE, SwiGLU, and residual RMSNorm---by retaining selected intermediates in FP32 until their BF16 outputs. Across four Qwen-family models, aligning all three regions prevents the collapse observed under the default BF16 baseline; RoPE-path alignment alone also suffices in the studied runs, despite remaining numerical discrepancies. The interventions keep the inference engine, matrix-multiplication and attention kernels, and learning objective unchanged.
• Abstract（参考訳）: 大規模言語モデルの強化学習は、しばしば推論とトレーニングに別々のシステムを使用する。 同じ重みとBF16テンソルであっても、実装上の違いは、政治の外での更新とトレーニングの不安定化を意図している。 既存の改善は、推論とトレーニングスタック全体を調整したり、グローバルな精度を変更したり、学習アルゴリズムを変更したりする。 実装の相違点が残る間、BF16 RLを安定させることができるかどうかを問う。 トレーニング側丸め位置とRoPE, SwiGLU, 残留RMSNormの3つの領域の推測を一致させる。 3つの領域を並べた4つのQwenファミリーモデル全体では、デフォルトのBF16ベースラインで観測される崩壊を防止している。 介入は推論エンジン、行列乗算および注目カーネルを維持し、学習目標を変更しない。

関連論文リスト

• TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning [28.14978673736067]
  低精度実行は、大規模言語モデルの強化学習を大幅に加速させることができる。 本稿では,ミスマッチと政策段階的方向性の相互作用を特徴付ける。 政策段階の更新を選択的に再バランスするためにセグメントレベルの診断を用いる方向認識安定化手法であるTRIAGEを導入する。
  論文  参考訳（メタデータ） (2026-10-05T00:53:11Z)
• AIS: Adaptive Importance Sampling for Quantized RL [21.387834718338496]
  大規模言語モデル(LLM)の強化学習はロールアウト生成のコストに支配されている。 これは、ロールアウトトレーニングミスマッチを導入し、ポリシー勾配を偏り、推論ベンチマークでトレーニングが完全に崩壊する可能性がある。 このミスマッチは非定常的であり、二重刃の剣として機能し、初期のトレーニングでは探索ボーナスを提供し、トレーナーがアンダーサンプするトラジェクトリーへの勾配を露呈する。 本稿では,適応的重要度サンプリング(AIS)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T03:36:57Z)
• Defeating the Training-Inference Mismatch via FP16 [72.25890308541334]
  強化学習(Reinforcement Learning, RL)の微調整は、トレーニングと推論ポリシーのミスマッチが原因で不安定な場合が多い。 その根本原因は浮動小数点精度そのものにあることを示す。 広く採用されているBF16は、大きなダイナミックレンジにもかかわらず、トレーニングと推論の一貫性を損なう大きな丸め誤差を導入している。
  論文  参考訳（メタデータ） (2025-10-30T17:58:11Z)
• Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
  機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。 この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
  論文  参考訳（メタデータ） (2025-10-23T14:02:34Z)
• Learnable Distribution Calibration for Few-Shot Class-Incremental Learning [122.2241120474278]
  FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。 本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:40:26Z)
• Killing Two Birds with One Stone:Efficient and Robust Training of Face Recognition CNNs by Partial FC [66.71660672526349]
  部分FC (Partial FC) という,完全連結層 (FC) のスパース更新版を提案する。 各イテレーションにおいて、マージンベースのソフトマックス損失を計算するために、正のクラスセンターと負のクラスセンターのランダムなサブセットが選択される。 計算要求、クラス間衝突の確率、テールクラスセンターにおけるパッシブ更新の頻度は劇的に減少する。
  論文  参考訳（メタデータ） (2022-03-28T14:33:21Z)
• Semi-Supervised Learning with Variational Bayesian Inference and Maximum Uncertainty Regularization [62.21716612888669]
  半教師付き学習(SSL)を改善するための2つの一般的な方法を提案する。 第一に、重量摂動(WP)を既存のCR(Consistency regularization)ベースの手法に統合する。 第2の手法は「最大不確実性正規化(MUR)」と呼ばれる新しい整合性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-03T09:49:35Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。