論文の概要: MGRQ: Post-Training Quantization For Vision Transformer With Mixed Granularity Reconstruction
- arxiv url: http://arxiv.org/abs/2406.09229v1
- Date: Thu, 13 Jun 2024 15:29:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 17:05:04.080173
- Title: MGRQ: Post-Training Quantization For Vision Transformer With Mixed Granularity Reconstruction
- Title（参考訳）: MGRQ: 混合粒度再構成による視力変換器の訓練後量子化
- Authors: Lianwei Yang, Zhikai Li, Junrui Xiao, Haisong Gong, Qingyi Gu,
- Abstract要約: 後学習量子化(PTQ)は視覚モデルを効率的に圧縮する。
ViT (Vision Transformer) の再構成によるPTQの性能向上への取り組みは, 有効性に限界があることが示されている。
この問題に対処するためのソリューションとして,MGRQ (Mixed Granularity Reconstruction Quantization) を提案する。
- 参考スコア（独自算出の注目度）: 3.7024647541541014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Post-training quantization (PTQ) efficiently compresses vision models, but unfortunately, it accompanies a certain degree of accuracy degradation. Reconstruction methods aim to enhance model performance by narrowing the gap between the quantized model and the full-precision model, often yielding promising results. However, efforts to significantly improve the performance of PTQ through reconstruction in the Vision Transformer (ViT) have shown limited efficacy. In this paper, we conduct a thorough analysis of the reasons for this limited effectiveness and propose MGRQ (Mixed Granularity Reconstruction Quantization) as a solution to address this issue. Unlike previous reconstruction schemes, MGRQ introduces a mixed granularity reconstruction approach. Specifically, MGRQ enhances the performance of PTQ by introducing Extra-Block Global Supervision and Intra-Block Local Supervision, building upon Optimized Block-wise Reconstruction. Extra-Block Global Supervision considers the relationship between block outputs and the model's output, aiding block-wise reconstruction through global supervision. Meanwhile, Intra-Block Local Supervision reduces generalization errors by aligning the distribution of outputs at each layer within a block. Subsequently, MGRQ is further optimized for reconstruction through Mixed Granularity Loss Fusion. Extensive experiments conducted on various ViT models illustrate the effectiveness of MGRQ. Notably, MGRQ demonstrates robust performance in low-bit quantization, thereby enhancing the practicality of the quantized model.
- Abstract（参考訳）: 後トレーニング量子化(PTQ)は視覚モデルを効率よく圧縮するが、残念ながらある程度の精度劣化を伴う。
再構成手法は、量子化モデルと完全精度モデルとのギャップを狭め、しばしば有望な結果をもたらすことによってモデル性能を向上させることを目的としている。
しかし,視覚変換器(ViT)の再構成によりPTQの性能を大幅に向上させる試みは,有効性に限界があることが示されている。
本稿では,この限界効果の理由を徹底的に分析し,MGRQ(Mixed Granularity Reconstruction Quantization)をこの問題に対する解決策として提案する。
従来の復元方式とは異なり、MGRQは混合粒度再構成方式を導入している。
特に、MGRQは、最適化ブロックワイドレコンストラクションに基づいて、Extra-Block Global SupervisionとIntra-Block Local Supervisionを導入し、PTQの性能を向上させる。
Extra-Block Global Supervisionはブロック出力とモデル出力の関係を考察し、グローバル監視によるブロックワイズ再構築を支援する。
一方、ブロック内局所スーパービジョンは、ブロック内の各層における出力の分布を整列することで、一般化誤差を低減する。
その後、MGRQはMixed Granularity Loss Fusionによる再構築のためにさらに最適化されている。
様々なViTモデルで実施された大規模な実験は、MGRQの有効性を示している。
特に、MGRQは低ビット量子化におけるロバストな性能を示し、量子化モデルの実用性を高める。
関連論文リスト
- DR-BFR: Degradation Representation with Diffusion Models for Blind Face Restoration [7.521850476177286]
低品質 (LQ) の顔画像から様々な劣化を分解する能力を持つ拡散モデルを開発した。
DR-BFRと呼ばれる新しい修復手法は、劣化表現(DR)とLQ画像からのコンテンツ特徴を取り入れることで、遅延拡散モデル(LDM)の認知を導く。
DR-BFRは、様々なデータセットに対して定量的かつ質的に最先端の手法を著しく上回る。
論文 参考訳（メタデータ） (2024-11-15T15:24:42Z) - SurgeryV2: Bridging the Gap Between Model Merging and Multi-Task Learning with Deep Representation Surgery [54.866490321241905]
モデルマージに基づくマルチタスク学習(MTL)は、複数のエキスパートモデルをマージしてMTLを実行するための有望なアプローチを提供する。
本稿では,統合モデルの表現分布について検討し,「表現バイアス」の重要な問題を明らかにする。
このバイアスは、マージされたMTLモデルの表現と専門家モデルの間の大きな分布ギャップから生じ、マージされたMTLモデルの最適下性能に繋がる。
論文 参考訳（メタデータ） (2024-10-18T11:49:40Z) - GLMHA A Guided Low-rank Multi-Head Self-Attention for Efficient Image Restoration and Spectral Reconstruction [36.23508672036131]
本稿では,チャネルワイド・セルフアテンションを置き換えるために,インスタンス誘導型低ランクマルチヘッド・セルフアテンションを提案する。
提案したGLMHAに共通するのは、短い入力シーケンスと長い入力シーケンスの両方に対して計算利得を提供する能力である。
その結果,7.7ギガFLOPsの削減が達成され,最高の性能モデルの性能を維持するために必要なパラメータが370K削減された。
論文 参考訳（メタデータ） (2024-10-01T04:07:48Z) - DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers [2.0862654518798034]
本稿では,視覚変換器のための分散親和性・外乱性を考慮したポストトレーニング量子化手法を提案する。
DopQ-ViTは、現在の量子化器の非効率性を分析し、TanQと呼ばれる分布に優しいタン量子化器を導入する。
DopQ-ViTは広範囲に検証され、量子化モデルの性能が大幅に向上した。
論文 参考訳（メタデータ） (2024-08-06T16:40:04Z) - Boosting Image Restoration via Priors from Pre-trained Models [54.83907596825985]
我々は、OSFによるターゲット復元ネットワークの復元結果を改善するために、Pre-Train-Guided Refinement Module (PTG-RM)と呼ばれる軽量モジュールを学習する。
PTG-RMは、低照度強化、デラリニング、デブロアリング、デノナイジングなど、様々なタスクにおける様々なモデルの復元性能を効果的に向上させる。
論文 参考訳（メタデータ） (2024-03-11T15:11:57Z) - Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts [52.39959535724677]
画像復元モデルの一般化を改善するための代替手法を提案する。
ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。
我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
論文 参考訳（メタデータ） (2023-12-12T14:27:59Z) - PGDiff: Guiding Diffusion Models for Versatile Face Restoration via
Partial Guidance [65.5618804029422]
これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。
実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。
提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
論文 参考訳（メタデータ） (2023-09-19T17:51:33Z) - A Unified Conditional Framework for Diffusion-based Image Restoration [39.418415473235235]
画像復元のための拡散モデルに基づく統一条件付きフレームワークを提案する。
我々は、軽量なUNetを利用して初期ガイダンスと拡散モデルを予測し、指導の残余を学習する。
そこで本研究では,高解像度画像を扱うために,単純なステップ間パッチ分割方式を提案する。
論文 参考訳（メタデータ） (2023-05-31T17:22:24Z) - Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。
IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。
スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
論文 参考訳（メタデータ） (2023-03-29T07:02:20Z) - GCVAE: Generalized-Controllable Variational AutoEncoder [0.0]
極めて低い復元誤差と高い絡み合いスコアのトレードオフを扱うための枠組みを提案する。
復元ネットワークにおける情報の最大化は、償却推論時の情報と等価であることを示す。
論文 参考訳（メタデータ） (2022-06-09T02:29:30Z) - Attentive Fine-Grained Structured Sparsity for Image Restoration [63.35887911506264]
N:M 構造化プルーニングは,モデルの精度制約を効率的にするための効果的かつ実用的なプルーニング手法の1つである。
そこで本稿では, 各層におけるN:M構造化空間の刈り取り比を決定する新しい刈り取り法を提案する。
論文 参考訳（メタデータ） (2022-04-26T12:44:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。