論文の概要: From Signal Degradation to Computation Collapse: Uncovering the Two Failure Modes of LLM Quantization

• arxiv url: http://arxiv.org/abs/2604.19884v1
• Date: Tue, 21 Apr 2026 18:03:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:10.672669
• Title: From Signal Degradation to Computation Collapse: Uncovering the Two Failure Modes of LLM Quantization
• Title（参考訳）: 信号劣化から計算崩壊へ:LLM量子化の2つの失敗モードを明らかにする
• Authors: Chenxi Zhou, Pengfei Cao, Jiang Li, Bohan Yu, Jinyu Ye, Jun Zhao, Kang Liu,
• Abstract要約: 学習後量子化(PTQ)は,大規模言語モデル(LLM)の効率的な展開に重要である 根底にあるメカニズムが根本的に異なるかどうかは不明である。 本研究はPTQ障害の体系的診断枠組みを提供し,計算崩壊に対処するには単なる補償ではなく構造的再構成が必要であることを示唆する。
• 参考スコア（独自算出の注目度）: 32.51376926597887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-Training Quantization (PTQ) is critical for the efficient deployment of Large Language Models (LLMs). While 4-bit quantization is widely regarded as an optimal trade-off, reducing the precision to 2-bit usually triggers a catastrophic ``performance cliff.'' It remains unclear whether the underlying mechanisms differ fundamentally. Consequently, we conduct a systematic mechanistic analysis, revealing two qualitatively distinct failure modes: Signal Degradation, where the computational patterns remain intact but information precision is impaired by cumulative error; and Computation Collapse, where key components fail to function, preventing correct information processing and destroying the signal in the early layers. Guided by this diagnosis, we conduct mechanism-aware interventions, demonstrating that targeted, training-free repair can mitigate Signal Degradation, but remains ineffective for Computation Collapse. Our findings provide a systematic diagnostic framework for PTQ failures and suggest that addressing Computation Collapse requires structural reconstruction rather than mere compensation.
• Abstract（参考訳）: 学習後の量子化(PTQ)は、Large Language Models(LLMs)の効率的なデプロイに不可欠である。 4ビットの量子化は最適なトレードオフと見なされているが、精度を2ビットに下げると、大惨な『パフォーマンスの崖』を引き起こすのが普通である。 「「根底にあるメカニズムが根本的に異なるかは定かでない。」 その結果,信号劣化(Signal Degradation)は計算パターンがそのままだが,情報精度は累積誤差(cumulative error)によって損なわれること,鍵成分が機能しない計算崩壊(Computation Collapse)は情報処理の正しい防止と初期層における信号の破壊である。 この診断によって、我々は、標的となる無訓練修復が信号劣化を軽減できることを示したが、計算崩壊には効果がない。 本研究はPTQ障害の体系的診断枠組みを提供し,計算崩壊に対処するには単なる補償ではなく構造的再構成が必要であることを示唆する。

関連論文リスト

• The Rank and Gradient Lost in Non-stationarity: Sample Weight Decay for Mitigating Plasticity Loss in Reinforcement Learning [62.72522261010872]
  深部強化学習(RL)は、非定常性の性質により、可塑性の喪失に苦しむ。 ネットワーク最適化の理論的観点から, 可塑性損失問題について検討する。 勾配等級を復元する軽量な手法であるサンプル重み決定法を提案する。
  論文  参考訳（メタデータ） (2026-04-02T11:29:46Z)
• Missing-Aware Multimodal Fusion for Unified Microservice Incident Management [22.703696384749595]
  ARMORは、モダリティの欠如を前提とした、自己管理型のフレームワークである。 自己監督型自己回帰とマスク誘導型再構成を用いて、異常検出、障害トリアージ、根本原因の局在を共同で最適化する。 完全なデータ条件下での最先端性能を実現し、厳密なモダリティ損失でも堅牢な診断精度を維持する。
  論文  参考訳（メタデータ） (2026-03-26T15:14:57Z)
• RaBiT: Residual-Aware Binarization Training for Accurate and Efficient LLMs [5.782015253162346]
  残留バイナライゼーションは、バイナリ層を積み重ねることで、マットルフリーな推論を可能にする。 本稿では,残差階層をアルゴリズム的に強制することでコダプタ化を解決する新しい量子化フレームワークであるRaBiTを提案する。 RaBiTは最先端のパフォーマンスを実現し、ハードウェア集約型ベクトル量子化(VQ)の手法と競合する。
  論文  参考訳（メタデータ） (2026-02-05T06:41:11Z)
• Agentic Uncertainty Quantification [76.94013626702183]
  本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。 システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
  論文  参考訳（メタデータ） (2026-01-22T07:16:26Z)
• AttnRegDeepLab: A Two-Stage Decoupled Framework for Interpretable Embryo Fragmentation Grading [0.0]
  胚の断片化は、In Vitro Fertilization (IVF)における発生能を評価する上で重要な形態指標である 既存のディープラーニングソリューションは、しばしば臨床説明性に欠けたり、セグメンテーション領域の推定における累積誤差に悩まされる。 本研究では,マルチタスク学習を特徴とするフレームワークであるAttnRegDeepLabを提案する。
  論文  参考訳（メタデータ） (2025-11-23T13:50:49Z)
• Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
  大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。 我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:35:37Z)
• Causal Disentanglement Hidden Markov Model for Fault Diagnosis [55.90917958154425]
  本研究では, 軸受破壊機構の因果性を学ぶために, 因果解離隠れマルコフモデル (CDHM) を提案する。 具体的には、時系列データをフル活用し、振動信号を断層関連要因と断層関連要因に段階的に分解する。 アプリケーションの範囲を広げるために、学習された非絡み合った表現を他の作業環境に転送するために、教師なしのドメイン適応を採用する。
  論文  参考訳（メタデータ） (2023-08-06T05:58:45Z)
• System Resilience through Health Monitoring and Reconfiguration [56.448036299746285]
  人為的なシステムのレジリエンスを、予期せぬ事象に対して向上させるためのエンドツーエンドのフレームワークを実証する。 このフレームワークは物理ベースのデジタルツインモデルと,リアルタイム故障診断,予後,再構成を行う3つのモジュールに基づいている。
  論文  参考訳（メタデータ） (2022-08-30T20:16:17Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Self-Guided Multiple Instance Learning for Weakly Supervised Disease Classification and Localization in Chest Radiographs [22.473965401043717]
  局所化信頼度を高める畳み込みニューラルネットワークのトレーニングのための新しい損失関数を導入する 提案手法で提案する教師は,複数インスタンス学習用データセットの性能向上と,より正確な予測を行う。
  論文  参考訳（メタデータ） (2020-09-30T22:19:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。