論文の概要: Beyond Outliers: A Data-Free Layer-wise Mixed-Precision Quantization Approach Driven by Numerical and Structural Dual-Sensitivity

• arxiv url: http://arxiv.org/abs/2603.17354v1
• Date: Wed, 18 Mar 2026 04:30:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.510756
• Title: Beyond Outliers: A Data-Free Layer-wise Mixed-Precision Quantization Approach Driven by Numerical and Structural Dual-Sensitivity
• Title（参考訳）: 外部利得を超える:数値的および構造的二重感性によって駆動されるデータ自由層ワイド混合精度量子化アプローチ
• Authors: Hengyuan Zhang, Xinrong Chen, Zunhai Su, Xiao Liang, Jing Xiong, Wendong Xu, He Xiao, Chaofan Tao, Wei Zhang, Ruobing Xie, Lei Jiang, Hayden Kwok-Hay So, Ngai Wong,
• Abstract要約: LMPQ(Layer-wise mixed-precision Quantization)は、極端な低ビット設定下での効率的な圧縮を可能にする。 数値的および構造的二重感性によって駆動される新しいキャリブレーションフリーLMPQフレームワークNSDSを提案する。
• 参考スコア（独自算出の注目度）: 42.048576085381065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Layer-wise mixed-precision quantization (LMPQ) enables effective compression under extreme low-bit settings by allocating higher precision to sensitive layers. However, existing methods typically treat all intra-layer weight modules uniformly and rely on a single numerical property when estimating sensitivity, overlooking their distinct operational roles and structural characteristics. To address this, we propose NSDS, a novel calibration-free LMPQ framework driven by Numerical and Structural Dual-Sensitivity. Specifically, it first mechanistically decomposes each layer into distinct operational roles and quantifies their sensitivity from both numerical and structural perspectives. These dual-aspect scores are then aggregated into a unified layer-wise metric through a robust aggregation scheme based on MAD-Sigmoid and Soft-OR to guide bit allocation. Extensive experiments demonstrate that NSDS consistently achieves superior performance compared to various baselines across diverse models and downstream tasks, without relying on any calibration data.
• Abstract（参考訳）: LMPQ(Layer-wise mixed-precision Quantization)は、高精細度層に高精細度を割り当てることで、極端な低ビット設定下での効率的な圧縮を可能にする。 しかしながら、既存の手法は一般にすべての層内加群を均一に扱い、感度を推定する際に単一の数値的特性に依存し、それらの異なる操作的役割と構造的特性を見越す。 そこで我々は,数値的および構造的二重感性によって駆動される新しいキャリブレーションフリーLMPQフレームワークNSDSを提案する。 具体的には、まず各層を異なる運用上の役割に分解し、数値的および構造的観点からその感度を定量化する。 これらの二重アスペクトスコアは、MAD-SigmoidとSoft-ORに基づくロバストなアグリゲーションスキームにより、統一されたレイヤーワイドメトリックに集約され、ビット割り当てが導かれる。 広範囲な実験により、NSDSはキャリブレーションデータに頼ることなく、様々なモデルや下流タスクの様々なベースラインと比較して、一貫して優れた性能を達成できることが示された。

関連論文リスト

• MS-ISSM: Objective Quality Assessment of Point Clouds Using Multi-scale Implicit Structural Similarity [65.85858856481131]
  点雲の非構造的で不規則な性質は、客観的品質評価(PCQA)に重大な課題をもたらす マルチスケールインシシシット構造類似度測定(MS-ISSM)を提案する。
  論文  参考訳（メタデータ） (2026-01-03T14:58:52Z)
• SDQ-LLM: Sigma-Delta Quantization for 1-bit LLMs of any size [5.229694155440675]
  大規模言語モデル(LLM)は、計算とメモリの問題に直面する。 SDQ-LLM: Sigma-Delta Quantization for 1-bit LLMs of any size。 SDQ-LLMの特徴は、Over-Sampling Ratio (OSR) の連続層である。
  論文  参考訳（メタデータ） (2025-09-27T14:49:58Z)
• A Further Comparison of TD-DMRG and ML-MCTDH for Nonadiabatic Dynamics of Exciton Dissociation [2.0480965608306305]
  最近の研究では、exitonconfigurationの計算で最大60%の相違が報告されている。 ベンチマークP3HT:PCBMヘテロ接合モデルを再検討することにより、観察された相違は主に結合寸法の不足から生じることを示す。 その結果,結合次元が適切にスケールされている場合,両手法が数値的に正確な解に収束することが確認できた。
  論文  参考訳（メタデータ） (2025-08-30T10:53:51Z)
• AHDMIL: Asymmetric Hierarchical Distillation Multi-Instance Learning for Fast and Accurate Whole-Slide Image Classification [51.525891360380285]
  AHDMILは非対称な階層的蒸留マルチインスタンス学習フレームワークである。 2段階のトレーニングプロセスを通じて、無関係なパッチを排除します。 分類性能と推論速度の両方において、従来の最先端手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-07T07:47:16Z)
• Towards Extreme Pruning of LLMs with Plug-and-Play Mixed Sparsity [32.668409666483626]
  既存のプルーニング手法は主に、プルーニングをガイドするネットワークコンポーネントの重要性を測定するためにメトリクスを設計することに焦点を当てている。 本稿では,FIM(Fiher Information Matrix)のトレースに基づく効率的な手法を提案する。 そこで本研究では,異なる層に対する最適スパシティレベルを決定するために,プルーニング指向の進化的アルゴリズム(EA)を用いたMixed Sparsity Pruning (MSP)を提案する。
  論文  参考訳（メタデータ） (2025-03-14T08:05:49Z)
• Mix-QViT: Mixed-Precision Vision Transformer Quantization Driven by Layer Importance and Quantization Sensitivity [0.0]
  Mix-QViTは2つの基準に基づいて各レイヤにビット幅を割り当てる説明可能性駆動MPQフレームワークである。 学習後量子化のために、クリップされたチャネルワイド量子化法を導入する。
  論文  参考訳（メタデータ） (2025-01-10T21:36:20Z)
• CSQ: Growing Mixed-Precision Quantization Scheme with Bi-level Continuous Sparsification [51.81850995661478]
  混合精度量子化はディープニューラルネットワーク(DNN)に広く応用されている トレーニング中のビットレベル正規化とプルーニングに基づく動的精度調整の試みは、ノイズ勾配と不安定収束に悩まされている。 安定度を向上した混合精度量子化スキームを探索するビットレベル学習法である連続スカラー化量子化(CSQ)を提案する。
  論文  参考訳（メタデータ） (2022-12-06T05:44:21Z)
• Component-Wise Natural Gradient Descent -- An Efficient Neural Network Optimization [0.0]
  Natural Gradient Descent(NGD)は、Fisher Information Matrix(FIM)の逆数による勾配降下を前提とした2次ニューラルネットワークトレーニングである。 本稿では Component-Wise Natural Gradient Descent (CW-NGD) という新しいNGD変種アルゴリズムを提案する。 CW-NGDは、最先端の1次法と2次法と比較して、収束するイテレーションを少なくする。
  論文  参考訳（メタデータ） (2022-10-11T09:03:57Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。