論文の概要: When Flat Minima Fail: Characterizing INT4 Quantization Collapse After FP32 Convergence

• arxiv url: http://arxiv.org/abs/2604.15167v1
• Date: Thu, 16 Apr 2026 15:46:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.988895
• Title: When Flat Minima Fail: Characterizing INT4 Quantization Collapse After FP32 Convergence
• Title（参考訳）: FP32収束後のINT4量子化崩壊を特徴付けるフラットミニマの失敗
• Authors: Marcus Armstrong,
• Abstract要約: 後学習量子化は、よく収束したモデルが量子化対応モデルであると仮定する。 この仮定は構造化され、測定可能で、以前は達成できなかった方法で失敗することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization (PTQ) assumes that a well-converged model is a quantization-ready model. We show this assumption fails in a structured, measurable, and previously uncharacterized way. Using a calibration-free per-group INT4 probe applied to all 154 publicly available Pythia-160m training checkpoints, we identify a three-phase divergence structure: a rapid-learning phase where both FP32 perplexity and quantization robustness improve together, a meta-stable plateau lasting roughly 70,000 steps where FP32 perplexity stagnates but INT4 gap remains bounded, and an explosive divergence phase where the INT4 gap compounds from 11% to 517% while FP32 perplexity barely moves. Critically, this divergence begins not when the learning rate starts decaying, but precisely when FP32 perplexity converges a finer-grained onset predictor that implies post-convergence weight updates, rather than decay magnitude alone, are the proximate cause. We further show that INT8 quantization is entirely immune throughout all three phases, constraining the mechanism to the coarseness of the 16-level INT4 grid specifically, and rule out weight outlier accumulation as the mechanism via direct kurtosis measurement. Finally, we conduct a controlled fork experiment from the pre-divergence checkpoint comparing three learning rate schedules (cosine continuation, SGDR warm restarts, and our proposed Oscillatory Lock-In) across nine independent runs. SGDR uniformly accelerates divergence (0/9 pairwise wins against cosine), while OLI's settled cool phases reduce the INT4 gap by 2.2 percentage points on average (t = -5.46, p < 0.0001), demonstrating that schedule amplitude calibration, not oscillation alone, determines whether perturbation helps or hurts. Our code, probe implementation, and all 154-checkpoint audit results are released publicly.
• Abstract（参考訳）: 後学習量子化(PTQ)は、よく収束したモデルが量子化対応モデルであると仮定する。 この仮定は構造化され、測定可能で、以前は達成できなかった方法で失敗することを示す。 キャリブレーションフリーのINT4プローブを154個のPythia-160mトレーニングチェックポイントに適用し,FP32パープレクティリティと量子化ロバストネスが共に向上する3相分岐構造,FP32パープレクティリティが停滞するがINT4ギャップが有界なメタ安定台地,FP32パープレクティリティがほとんど動かない11%から517%の爆発発散相を同定した。 臨界的には、この発散は学習速度が減衰し始めたときに始まるのではなく、FP32のパープレクティリティがより微細なオンセット予測器を収束させたときに始まります。 さらに, INT8の量子化は, 16レベルINT4格子の粗さに対する機構を制約し, 直接カルトシス測定により重量外積の蓄積を排除し, 全3相にわたって完全に免疫であることを示す。 最後に,9つの独立したランニングにおける3つの学習率スケジュール(コサイン継続,SGDRウォームリスタート,および提案したOscillatory Lock-In)を比較し,分岐前チェックポイントから制御フォーク実験を行った。 SGDRはばらつきを均一に加速する(0/9対のコサイン勝利)が、OLIの落ち着いた冷却相はINT4ギャップを平均で2.2ポイント減少させる(t = -5.46, p < 0.0001)。 コード、プローブの実装、および154チェックポイントの監査結果はすべて公開されています。

関連論文リスト

• Auxiliary Finite-Difference Residual-Gradient Regularization for PINNs [0.0]
  本研究では,PDE残差が保たれるハイブリッド設計について検討するが,有限差分は弱い補助項にのみ現れる。 FD項は、PDE残基自体を置き換えることなく残留体を正則化する。 種子0-5と100kのエポック全体で、最も信頼性の高い試験はクルコウタス・ベタ政権下での固定殻重量5e-4である。
  論文  参考訳（メタデータ） (2026-04-15T23:09:19Z)
• Quantization Dominates Rank Reduction for KV-Cache Compression [0.0]
  量子化は、モデルと圧縮レベルに応じて、4-364 PPLのランク低下を一貫して上回る。 我々は、ソフトマックスフィッシャー計量の下で、投射損傷が1方向に3 x 2 (2b) の量子化損傷を超える結果によってこれを定式化する。
  論文  参考訳（メタデータ） (2026-04-13T14:06:18Z)
• Quantization Impact on the Accuracy and Communication Efficiency Trade-off in Federated Learning for Aerospace Predictive Maintenance [0.0]
  フェデレートラーニング(FL)は、分散航空宇宙艦隊間のプライバシ保護による予測メンテナンスを可能にする。 本稿では,対称均一量子化がカスタム設計軽量畳み込みモデルの精度-効率トレードオフに与える影響について検討する。 Int4はFD001とFD002でFP32と区別できない精度を実現する。
  論文  参考訳（メタデータ） (2026-04-09T17:13:15Z)
• Activation Outliers in Transformer Quantization: Reproduction, Statistical Analysis, and Deployment Tradeoffs [0.0]
  変圧器のポストトレーニング量子化(PTQ)は、構造化されたアクティベーションアウトリアによる精度の低下に悩まされていることが知られている。 本稿では,QNLIで微調整されたBERTベースにおける再現可能な経験的再現と,その現象のシステムレベルの拡張について述べる。
  論文  参考訳（メタデータ） (2026-03-04T17:26:29Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Dissecting Outlier Dynamics in LLM NVFP4 Pretraining [46.10969678564592]
  本研究は,NVFP4プレトレーニング中におけるアーキテクチャ内外層力学の経時的解析を行う。 我々は、Softmax Attention (SA) と比較して、Linear Attention (LA) はテンソルあたりの重みを減少させるが、ブロック量子化の下ではブロックレベルのスパイクが持続することを示した。 次に,NVFP4のトレーニングレシピであるCHONを開発し,QK後の操作保護と統合した。
  論文  参考訳（メタデータ） (2026-02-02T12:50:27Z)
• Calibrated Decomposition of Aleatoric and Epistemic Uncertainty in Deep Features for Inference-Time Adaptation [3.018583625592182]
  ほとんどの推定器は、全ての不確実性モードを単一の信頼スコアに分解し、いつより多くの計算を割り当てるか、あるいは推論を調整するべきかについての信頼性の高い推論を防ぐ。 非確実性誘導推論時間選択(Uncertainty-Guided Inference-Time Selection)は,データ駆動型(データ駆動型)とモデル駆動型不確実性を,深い特徴空間で直接的に解消する軽量な推論時間フレームワークである。
  論文  参考訳（メタデータ） (2025-11-15T23:47:30Z)
• Enhancing Kerr-Cat Qubit Coherence with Controlled Dissipation [64.05054054401175]
  Kerr-cat qubit (KCQ) はボゾン量子プロセッサである。 KCQはオンチップアーキテクチャや高忠実度操作と実験的に互換性がある。 KCQ におけるビットフリップ時間は、キュービット多様体からの漏れによって制限されるという直接的な証拠を示す。
  論文  参考訳（メタデータ） (2025-11-02T17:58:36Z)
• Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
  機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。 この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
  論文  参考訳（メタデータ） (2025-10-23T14:02:34Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
  我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。 そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。 良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。 我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
  論文  参考訳（メタデータ） (2023-12-25T01:00:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。