論文の概要: SPA-Q: Structure-Preserving Adaptive Post-Training Quantization for Monocular Depth Estimation

• arxiv url: http://arxiv.org/abs/2611.04491v1
• Date: Tue, 03 Nov 2026 08:20:52 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:57:19.593174
• Title: SPA-Q: Structure-Preserving Adaptive Post-Training Quantization for Monocular Depth Estimation
• Title（参考訳）: SPA-Q: 単眼深度推定のための構造保存型適応ポストトレーニング量子化
• Abstract要約: ポストトレーニング量子化(PTQ)はモデル圧縮の効率的なソリューションであるが、低ビットのPTQはMDEモデルでは依然として困難である。 MDEのための構造保存型PTQフレームワークであるSPA-Qを提案する。 実験の結果、SPA-Qは4ビット量子化の下で既存のPTQ法より一貫して優れていた。
• 参考スコア（独自算出の注目度）: 13.41777567705249
• License:
• Abstract: Monocular depth estimation (MDE) has advanced rapidly with the emergence of foundation models such as Depth Anything. Their transformer-based architectures provide strong generalization across diverse scenes and domains, but also incur high computational and memory cost, making efficient deployment challenging. Post-Training Quantization (PTQ) provides an efficient and practical solution for model compression, yet low-bit PTQ remains challenging for MDE models. When applying PTQ to Depth Anything, we identify two key challenges: (i) independently minimizing the quantization error of the query and key projections fails to preserve the attention maps induced by their interaction, and (ii) quantization errors accumulate across layers, resulting in intermediate feature distribution shifts. To address these issues, we propose SPA-Q, a Structure-Preserving Adaptive PTQ framework for MDE, consisting of two main components. First, Attention-Preserving Calibration (APC) determines query and key quantization parameters by matching the full-precision attention distribution. Second, Channel-Wise Distribution Alignment (CWDA) learns channel-wise affine transformations to mitigate quantization-induced distribution shifts, and the learned parameters are absorbed into the weights after training. Experimental results show that SPA-Q consistently outperforms existing PTQ methods under 4-bit quantization, achieving an average 25.9% reduction in AbsRel and a 17.3% improvement in $δ_1$ across NYUv2 and KITTI datasets.
• Abstract（参考訳）: 深度推定(MDE)はDepth Anythingのような基礎モデルの出現とともに急速に進歩した。 トランスフォーマーベースのアーキテクチャは、様々なシーンやドメインにまたがる強力な一般化を提供するが、計算とメモリのコストも高く、効率的なデプロイメントを困難にしている。 Post-Training Quantization (PTQ)は、モデル圧縮のための効率的で実用的なソリューションを提供するが、低ビットのPTQはMDEモデルでは依然として困難である。 PTQをDepth Anythingに適用する場合、主な課題が2つあります。 (i)クエリとキープロジェクションの量子化誤差を独立に最小化し、その相互作用によって誘導されるアテンションマップの保存に失敗する。 (II) 層間に量子化誤差が蓄積され, 中間特性分布シフトが生じる。 これらの問題に対処するために,2つの主要コンポーネントからなるMDEのための構造保存適応型PTQフレームワークであるSPA-Qを提案する。 まず、APC(Attention-Preserving Calibration)は、全精度の注意分布をマッチングすることにより、クエリとキー量子化パラメータを決定する。 第2に、CWDA(Channel-Wise Distribution Alignment)は、量子化誘起分布シフトを軽減するためにチャネルワイズアフィン変換を学習し、学習したパラメータはトレーニング後に重みに吸収される。 実験の結果、SPA-Qは4ビット量子化の下で既存のPTQ法を一貫して上回り、平均25.9%のAbsRelの削減とNYUv2とKITTIデータセット全体のδ_1$の17.3%の改善を達成した。

関連論文リスト

• AxisQ: Depth-Adaptive Channel--Frequency Quantization for Camouflaged Object Detection [51.79422663088994]
  カモフラージュされた物体検出は、攻撃的な後量子化によって破壊できる弱いテクスチャと境界の手がかりに依存する。 ここでは,特徴深度で有用なアロケーション軸が変化するという観測を動機とした,奥行き適応型ビット割り当てフレームワークであるAxisQを紹介する。 複数のCODモデルと多様なベンチマークによる実験では、低ビット幅で最強のベースラインよりも精度が向上した。
  論文  参考訳（メタデータ） (2026-10-27T08:41:01Z)
• Joint Structural Pruning and Mixed-Precision Quantization for LLM Compression [1.4857783122641302]
  学習後量子化(PTQ)と構造化プルーニングは,メモリフットプリントと推論遅延を低減する技術として確立されている。 既存のPTQアプローチのほとんどは、ネットワークを通じてエラーがどのように蓄積され、伝播するかを見越して、層ごとの量子化誤差を最適化している。 我々は、これらの制限に2つの重要な方法で対処する、新しいエンドツーエンドフレームワークを紹介します。
  論文  参考訳（メタデータ） (2026-06-05T20:02:29Z)
• LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs [52.1276403258812]
  ブロックワイドPTQの簡易かつ効果的な拡張であるLFQ(Logit-aware Final-block Quantization)を導入する。 LFQは、最先端のブロックワイドPTQよりも複雑な生成タスクの精度を一貫して改善する。
  論文  参考訳（メタデータ） (2026-05-28T11:02:23Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• Mix-QSAM: Mixed-Precision Quantization of the Segment Anything Model [0.0]
  Mix-QSAMはSegment Anything Model(SAM)のためのPTQフレームワークである。 モデル出力に対する各レイヤの寄与を定量化するために,Kulback-Leibler (KL) 偏差を用いて導出したレイヤ単位の重要度スコアを導入する。 また、隣接層間の依存関係を捉えるために、因果的相互情報に基づく新しい計量である層間相乗法を導入する。
  論文  参考訳（メタデータ） (2025-05-08T00:08:31Z)
• Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization [0.0]
  層ワイドPTQは大規模言語モデル(LLM)を圧縮するための有望な手法である この領域の最近の進歩は飽和しており、中核的な制限を再検討し、さらなる改善を検討する必要性を浮き彫りにしている。 本稿では,量子化エラーを明示的に伝播し,蓄積したエラーを補償することにより,レイヤワイズPTQを向上させる,汎用的で軽量でスケーラブルなフレームワークである量子化エラー伝播(QEP)を提案する。
  論文  参考訳（メタデータ） (2025-04-13T15:56:00Z)
• EDA-DM: Enhanced Distribution Alignment for Post-Training Quantization of Diffusion Models [8.742501879586309]
  量子化はモデルの複雑性を効果的に低減し、後学習量子化(PTQ)は拡散モデルの圧縮と加速に非常に有望である。 既存のPTQ法は, キャリブレーションサンプルレベルと再構成出力レベルの両方の分布ミスマッチ問題に悩まされている。 本稿では,上記の問題に効率的に対処する標準化されたPTQ手法であるEDA-DMを提案する。
  論文  参考訳（メタデータ） (2024-01-09T14:42:49Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Benchmarking the Reliability of Post-training Quantization: a Particular Focus on Worst-case Performance [53.45700148820669]
  ポストトレーニング量子化(PTQ)は、独自のアーキテクチャやトレーニング手順を変更することなく、ディープニューラルネットワーク(DNN)を圧縮するための一般的な方法である。 その有効性と利便性にもかかわらず、分散シフトやデータノイズといった極端ケースの存在下でのPTQ手法の信頼性は明らかにされていない。 そこで本研究では,様々なPTQ手法を用いてこの問題について検討する。
  論文  参考訳（メタデータ） (2023-03-23T02:55:50Z)
• Solving Oscillation Problem in Post-Training Quantization Through a Theoretical Perspective [74.48124653728422]
  ポストトレーニング量子化(PTQ)は、事実上最も効率的な圧縮手法の1つである。 我々は、PTQ法で見過ごされた振動問題について論じる。
  論文  参考訳（メタデータ） (2023-03-21T14:52:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。