論文の概要: Efficient Quantization Training with Stochastic Rounding via Structured Subspace Randomness
- arxiv url: http://arxiv.org/abs/2610.36587v1
- Date: Tue, 27 Oct 2026 03:46:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.478183
- Title: Efficient Quantization Training with Stochastic Rounding via Structured Subspace Randomness
- Title（参考訳）: 構造的部分空間ランダム性による確率的ラウンドリングによる効率的な量子化学習
- Abstract要約: 低精度の訓練は、量子化されていない勾配をバイアスなく保つためにラウンドリング(SR)に依存することが多い。
加速器はベクトル単位にランダムな数を生成します スループットは行列単位よりはるかに遅れています
要素間でランダムなしきい値を共有することは、このコストを排除しますが、これらの要素を同じ方向に回転させ、共通のオフセットでラウンドエラーをシフトさせます。
- 参考スコア（独自算出の注目度）: 16.072468940419622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-precision training often relies on stochastic rounding (SR) to keep quantized gradients unbiased and prevent small updates from rounding to zero. Standard SR draws an independent random threshold for every gradient element. However, accelerators generate random numbers on vector units whose throughput lags far behind their matrix units. Drawing one threshold per element saturates the vector unit and can make INT8 training with SR slower than BF16 training. Sharing random thresholds across tensor elements removes this cost but forces those elements to round in the same direction and shifts their rounding errors by a common offset. We find that this offset degrades training primarily through the activation gradient, which propagates the error backward into earlier layers. Because earlier layers cannot cancel an incoming offset using their own local rounding errors, the offset must be removed at the layer where it originates. We propose Structured Subspace Stochastic Rounding (S3R), which quantizes each upstream gradient once for both the activation and weight gradient matrix multiplications and shares a single threshold per token across the hidden dimension. Its error correction, S3R-EC, subtracts the structured mean rounding error from the activation and weight gradients while leaving the optimizer unchanged. In LLM pre-training experiments, uncorrected threshold sharing degrades convergence, whereas S3R-EC eliminates this degradation and matches the validation loss of independent SR. Furthermore, S3R-EC accelerates full INT8 training steps of dense LLMs on TPU v5p by 1.24x to 1.32x over BF16 and by 1.11x over independent SR.
- Abstract（参考訳）: 低精度の訓練は、しばしば確率的丸め(SR)に頼り、量子化勾配を偏りなく保ち、小さな更新がゼロになるのを防ぐ。
標準SRは、すべての勾配要素に対して独立したランダムしきい値を描く。
しかし、加速器は行列単位よりはるかに遅れたスループットを持つベクトル単位に対してランダムな数を生成する。
1要素あたりのしきい値の描画はベクトル単位を飽和させ、BF16トレーニングよりもSRでのINT8トレーニングを遅くすることができる。
テンソル要素間でランダムなしきい値を共有することは、このコストを除去するが、これらの要素を同じ方向に回転させ、それらの丸め誤差を共通のオフセットでシフトさせる。
このオフセットは、主にアクティベーション勾配によってトレーニングを劣化させ、エラーを以前の層に伝播させる。
以前のレイヤは、独自のローカルラウンドエラーを使用して受信オフセットをキャンセルできないため、オフセットが発端となるレイヤで削除されなければならない。
本研究では,アクティベーションおよびウェイト勾配行列の乗算に対して,各上流勾配を1度ずつ量子化し,隠れ次元にまたがるトークン当たりの閾値を共有する構造的部分空間確率ラウンドリング(S3R)を提案する。
その誤差補正であるS3R-ECは、オプティマイザをそのまま残しながら、アクティベーションとウェイト勾配から構造化平均丸め誤差を減算する。
LLM事前学習実験では、補正されていない閾値共有は収束を低下させるが、S3R-ECはこの劣化を排除し、独立SRの検証損失と一致する。
さらに、S3R-ECは、TPU v5p上の高密度LLMの完全なINT8トレーニングステップをBF16上の1.24倍から1.32倍、独立SR上の1.11倍に加速する。
関連論文リスト
- Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。
LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
論文 参考訳（メタデータ） (2026-09-30T16:47:35Z) - SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs [18.494055578192015]
本稿では,各プルーニングサイトに線形残差アダプタを挿入するトレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。
各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。
5つのモデルファミリ,6つの層選択基準,および7つのゼロショットベンチマーク実験により,ShiFT-LLMは深絞りによって失われる精度を常に回復することを示した。
論文 参考訳（メタデータ） (2026-08-25T19:01:58Z) - FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training [43.28268986528884]
FORGEはステップを後方のパスに折りたたみ、一度に1つのタイルを全てレジスタに印加するので、各タイルは生成した瞬間に消費され、テンソルになることはない。
すべての要素ワイズ更新において、すべての要素ワイズルールにおいて、すべての要素ワイズルールにおいて、すべての正確性は生存し、シーケンス並列化される。
論文 参考訳（メタデータ） (2026-06-22T07:08:31Z) - Learning to Solve Generative ODEs Beyond the Linear Span [50.13853710831612]
空間残留演算子を用いてスカラー係数更新を増強する軽量ニューラルソルバであるSpanLiftを提案する。
SpanLiftは、ピクセル空間の拡散、潜水流のマッチング、降水は今、最先端の数ステップのサンプリングを実現している。
論文 参考訳（メタデータ） (2026-06-07T15:22:13Z) - ARC-STAR: Auditable Post-Hoc Correction for PDE Foundation Models [47.9430487327673]
ARC-STARは修正を3段階にまとめる: グローバルな修正器は広い解法バイアスを除去し、ブロックワイドな局所精錬器はポストグロバル残差を浄化し、展開時にはラベルフリースコアは計算予算の下でハイリスクなブロックに精算する。
ARC-STARは、全ての細胞で生ポセイドンよりも少なくとも36倍の速度ロールアウト誤差を減少させる唯一の方法である。
論文 参考訳（メタデータ） (2026-05-21T09:26:16Z) - SOAR: Self-Correction for Optimal Alignment and Refinement in Diffusion Models [48.335262141752715]
拡散モデルのための後トレーニングパイプラインには、キュレートされたデータに対する教師付き微調整(SFT)と報酬モデルによる強化学習(RL)の2段階がある。
本稿では,このギャップを埋めるバイアス補正ポストトレーニング法であるSOAR(Self-Correction for Optimal Alignment and Refinement)を提案する。
オンライン政治であり、報酬なしであり、クレジット割り当ての問題なく、時間ごとの密集した監督を提供する。
論文 参考訳（メタデータ） (2026-04-14T11:45:15Z) - AdaHOP: Fast and Accurate Low-Precision Training via Outlier-Pattern-Aware Rotation [11.070767185562817]
低い精度のトレーニングでは、アダマール変換を用いて外れ値を抑制し、量子化誤差を軽減する。
従来の方法では、テンソルにまたがる外部構造にかなりの変化があるにもかかわらず、固定変換を均一に適用していた。
我々は,この戦略が根本的に欠陥があることを示し,AdaHOPを提案する。
論文 参考訳（メタデータ） (2026-04-02T21:24:15Z) - BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation" [0.0]
正確なバックプロパゲーションに必要な活性化メモリは、ネットワーク深さ、コンテキスト長、特徴次元と線形にスケールする。
本稿では,活性化メモリをバッチ次元とシーケンス次元から完全に分離する効率的なバックプロパゲーションアルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-05T20:38:25Z) - Are Straight-Through gradients and Soft-Thresholding all you need for
Sparse Training? [21.889275006087875]
ニューラルネットワークのトレーニング時に重みをゼロにすることは、推論時の計算複雑性を低減するのに役立つ。
トレーニング中に急激な重量不連続を生じさせることなく,ネットワーク内の空間密度比を徐々に高めるために,ソフトスレッディングとストレートスルー勾配推定を組み合わせる。
提案手法は,ストレートスルー/ソフトスレッショルド/スパーストレーニングのためのST-3と命名され,精度/スパース性および精度/FLOPSトレードオフの両面からSoA結果を得る。
論文 参考訳（メタデータ） (2022-12-02T10:32:44Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。