論文の概要: Error Diffusion Replaces Latent Weights: Training Binary-Weight Language Models on a Few Bits of Dithered State

• arxiv url: http://arxiv.org/abs/2610.34566v1
• Date: Sun, 25 Oct 2026 21:10:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.636677
• Title: Error Diffusion Replaces Latent Weights: Training Binary-Weight Language Models on a Few Bits of Dithered State
• Title（参考訳）: Error Diffusionが遅延ウェイトに取って代わる: 数ビットのDithered State上でのバイナリウェイト言語モデルのトレーニング
• Abstract要約: 訓練用バイナリモデルでは、各重量の完全な潜伏コピーと、重量あたり96ビットのアダム状態が保持されている。 ラウンドリングにより量子化された2-8ビット残差バッファに、潜時重みを置き換える。 結果として生じる誤差拡散(ED)は、画像ハーフトニングの残差搬送ループを重み更新経路に移動させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary-weight language models store one bit per weight, but training them keeps a full-precision latent copy of each weight plus Adam state, about 96 extra bits per weight, so a deployed binary model cannot be adapted on the device that runs it. We replace the latent weight with a 2-8-bit residual buffer quantized by stochastic rounding, which cuts the training state per weight from 97 bits to 3-9, up to 19x less. The resulting error-diffusion (ED) optimizer moves the residual-carrying loop of image halftoning onto the weight-update path. Each buffer accumulates the unrealized part of every update and flips the weight when the accumulated value crosses a threshold, and it works only when its quantization grid has a level exactly at that threshold. Under this threshold-alignment rule, 4-bit buffers match 8-bit buffers on a binary multilayer perceptron benchmark, and the same rule lifts a different latent-free optimizer, Bop, from a 10-point deficit at 4 bits to full-precision accuracy. On character-level transformers with 97% of parameters binary, ED trains within 5-11% of the latent-weight reference at a 2,000-step budget and within 1.7% at convergence. On scaling ladders over enwik8 and wikitext-103, up to 19M parameters on enwik8 (70M with the wikitext-103 embeddings), the latent-free loss stays within -2.3% to +2.9% of the reference at all six sizes once a per-step cap on the buffer update removes a launch instability; without the cap it trails by 10% at the largest tokenized size. A deployed binary model continues training under ED at one tenth of the latent training state, matching latent-weight continuation, and a fused CPU kernel completes the adaptation within a 275 MB training-memory budget, which latent-weight training cannot. A 250-step probe sets the flip learning rate at any new scale.
• Abstract（参考訳）: バイナリウェイト言語モデルは、重量あたり1ビットを格納するが、トレーニングでは、各重量の完全な潜伏コピーと、重量あたり96ビットのAdam状態を保持するため、デプロイされたバイナリモデルは、それを実行するデバイスに適応できない。 遅延重みを確率的ラウンドリングで量子化した2-8ビット残差バッファに置き換えることで、重量当たりのトレーニング状態を97ビットから3～9ビットに、最大19倍に削減する。 結果の誤差拡散(ED)オプティマイザは、画像ハーフトニングの残差搬送ループを重み更新パスに移動させる。 各バッファは更新の未実現部分を蓄積し、蓄積された値がしきい値を超えたときに重みを反転させる。 このしきい値調整規則の下では、4ビットバッファはバイナリ多層パーセプトロンベンチマークの8ビットバッファと一致し、同じ規則では異なる遅延なしオプティマイザであるBopを4ビットの10ポイントの障害から完全精度まで引き上げる。 パラメータの97%を持つ文字レベルのトランスフォーマーでは、ED列車は2000ステップの予算で遅延ウェイト基準の5-11%以内、収束時には1.7%以内である。 enwik8 と wikitext-103 のスケールラグでは、Enwik8 (wikitext-103 の埋め込みで 70M) 上の19M のパラメータまで、遅延のない損失は、バッファ更新のステップ当たりの上限が6つのサイズすべてで -2.3% から +2.9% の範囲内にある。 デプロイされたバイナリモデルは、潜時トレーニング状態の10分の1でEDの下でトレーニングを継続し、潜時トレーニングにマッチし、融合したCPUカーネルは潜時トレーニングができない275MBのトレーニングメモリ予算内で適応を完了する。 250ステップのプローブは、フリップ学習率を任意の新しいスケールで設定する。

関連論文リスト

• LEAN: Loss-Engineered Modulation of the Model Weight-Sensitivity Distribution for Efficient, Error-Tolerant Neural Networks [5.408578878614567]
  トレーニングされたモデルの重量感度分布を変調または変更できることが示される。 蓄えられた重量の感度はその勾配の積であり、フリップが記憶形式を踏むステップである。 この用語の10エポックは、細いチューンや訓練の最後のエポックとして、9つの視覚モデルで5倍から13倍の感度の尾を縮小する。
  論文  参考訳（メタデータ） (2026-10-20T19:44:33Z)
• Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
  Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。 LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
  論文  参考訳（メタデータ） (2026-09-30T16:47:35Z)
• Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment [0.0]
  ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。 KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。 有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
  論文  参考訳（メタデータ） (2026-09-02T00:42:54Z)
• Activation-Weighted Seeded Residual Coding for Low-Bit LLM Weight Repair [5.606117282929355]
  Activation-Weighted Seeded Residual Coding (AWSRC)は、既存の量子化バックボーンのコンパクトな修復である。 一致する49.25MBのサイドカー、BF16モデルの重量ペイロードの約0.8%で、AWSRCは最も複雑で平均的なタスク精度を提供する。
  論文  参考訳（メタデータ） (2026-08-24T11:49:37Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• Direct Quantized Training of Language Models with Stochastic Rounding [8.442358264368693]
  様々な大きさのLLaMA構造化モデルの実験結果から,3次値に制約された場合でも,低精度の重み付きトレーニングが実現可能であることが示唆された。 我々のモデルは、FP32から低メモリ環境に移行する際の性能劣化を最小限に抑えながら、精度のスケーリングとメモリ削減に頑健なままです。
  論文  参考訳（メタデータ） (2024-12-06T05:41:11Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。