論文の概要: Layerwise Error Attribution for Fast and Robust Mixed-Precision Post-Training Quantization

• arxiv url: http://arxiv.org/abs/2610.09877v1
• Date: Wed, 07 Oct 2026 11:37:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.87794
• Title: Layerwise Error Attribution for Fast and Robust Mixed-Precision Post-Training Quantization
• Title（参考訳）: 高速かつロバストな混合精度後処理量子化のための階層的誤差属性
• Abstract要約: 混合精度後量子化(Mixed-precision post-training Quantization)は、小さなキャリブレーションセットを用いて、グローバルメモリ予算の下でビット層を層単位で割り当てるネットワーク圧縮手法である。 本研究では, ある層に導入した局所摂動から伝播誤差を分離する量子化誤差の階層的確率論的解析を導出する。 この局所項を用いて、単純な割当アルゴリズムのための分離可能なスコアを構築し、外部の解法を必要としない。
• 参考スコア（独自算出の注目度）: 2.599882743586164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixed-precision post-training quantization is a network compression method that assigns bits layer by layer, under a global memory budget using a small calibration set. The main difficulties are to overcome the combinatorial nature of the allocation problem and to manage the sensitivity to small, potentially corrupted databases. Hence, an efficient allocation method should be fast to compute and preserve model quality when calibration data are corrupted. To design such a method, we derive a layerwise probabilistic analysis of the quantization error that separates propagated error from the local perturbation introduced at a given layer. We use this local term to build a separable score for a simple allocation algorithm, that requires no external solver. The probabilistic nature of our approach brings robustness to corrupted data. On denoising tasks with DRUNet, with an average budget of 4 bits per weight, our method matches or improves state-of-the-art mixed-precision baselines under clean calibration, and is more robust to corrupted calibration, with PSNR gains of up to 7.5 dB under the tested corruptions. Experiments show bit-allocation speed-ups from 28x to 2,570x over the studied baselines. For quantized diffusion models, our experiments show that a direct application of our framework also improves the state-of-the-art.
• Abstract（参考訳）: 混合精度後量子化(Mixed-precision post-training Quantization)は、小さなキャリブレーションセットを用いて、グローバルメモリ予算の下でビット層を層単位で割り当てるネットワーク圧縮手法である。 主な課題は、割り当て問題の組合せ的性質を克服し、小さな、潜在的に破損したデータベースに対する感度を管理することである。 したがって、キャリブレーションデータが破損した場合、効率的なアロケーション手法を高速に計算し、モデル品質を維持すべきである。 このような手法を設計するために、所定の層に導入した局所摂動から伝播誤差を分離する量子化誤差の階層的確率論的解析を導出する。 我々はこの局所項を用いて単純な割当てアルゴリズムのための分離可能なスコアを構築し、外部の解法を必要としない。 このアプローチの確率的性質は、破損したデータに堅牢性をもたらす。 DRUNetによるタスクの特定において、平均4ビット/重量の予算で、我々の手法はクリーンキャリブレーションの下で最先端の混合精度ベースラインと一致または改善し、PSNRが最大7.5dBまで上昇するのに対し、劣化キャリブレーションに対してより堅牢である。 実験では、研究されたベースライン上でのビット割り当て速度が28倍から2,570倍に向上した。 量子化拡散モデルでは、我々のフレームワークの直接適用により、最先端技術も改善されることを示す。

関連論文リスト

• Quantization Range Estimation for Convolutional Neural Networks [12.047887178191134]
  学習後量子化のための量子化性能を改善するための範囲推定法を提案する。 実験により,本手法は画像分類タスクにおいて,トップ1の精度で最先端の性能を向上することを示した。
  論文  参考訳（メタデータ） (2025-10-05T05:35:12Z)
• Neural Precision Polarization: Simplifying Neural Network Inference with Dual-Level Precision [0.4124847249415279]
  浮動小数点モデルはクラウドでトレーニングされ、エッジデバイスにダウンロードされる。 ネットワークの重みとアクティベーションは、NF4やINT8のようなエッジデバイスの望ましいレベルを満たすために直接量子化される。 本稿では,Watt MAC の効率と信頼性について,約464 TOPS のニューラル精度の偏極が可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T16:02:55Z)
• Mixed-Precision Quantization for Deep Vision Models with Integer Quadratic Programming [7.0146264551420066]
  量子化はニューラルネットワークを圧縮する技術として広く使われている。 MPQは、様々なビット幅をレイヤに割り当て、精度と効率のトレードオフを最適化することで、この問題に対処する。 我々は、量子化誤差の層間依存性をキャプチャする実用的な感度に基づくMPQアルゴリズムであるCLADOを紹介する。
  論文  参考訳（メタデータ） (2023-07-11T15:56:00Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Calibrated and Sharp Uncertainties in Deep Learning via Density Estimation [10.209143402485406]
  本稿では, キャリブレーションが重要であり, 維持が容易であることを論じる。 校正されたモデルを生成する再校正に基づく簡単なトレーニング手順を導入し、全体的な性能を犠牲にしない。
  論文  参考訳（メタデータ） (2021-12-14T06:19:05Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
  本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。 また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
  論文  参考訳（メタデータ） (2020-08-21T18:43:37Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。