論文の概要: MGRQ: Post-Training Quantization For Vision Transformer With Mixed Granularity Reconstruction

• arxiv url: http://arxiv.org/abs/2406.09229v1
• Date: Thu, 13 Jun 2024 15:29:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-14 17:05:04.080173
• Title: MGRQ: Post-Training Quantization For Vision Transformer With Mixed Granularity Reconstruction
• Title（参考訳）: MGRQ: 混合粒度再構成による視力変換器の訓練後量子化
• Authors: Lianwei Yang, Zhikai Li, Junrui Xiao, Haisong Gong, Qingyi Gu,
• Abstract要約: 後学習量子化(PTQ)は視覚モデルを効率的に圧縮する。 ViT (Vision Transformer) の再構成によるPTQの性能向上への取り組みは, 有効性に限界があることが示されている。 この問題に対処するためのソリューションとして,MGRQ (Mixed Granularity Reconstruction Quantization) を提案する。
• 参考スコア（独自算出の注目度）: 3.7024647541541014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization (PTQ) efficiently compresses vision models, but unfortunately, it accompanies a certain degree of accuracy degradation. Reconstruction methods aim to enhance model performance by narrowing the gap between the quantized model and the full-precision model, often yielding promising results. However, efforts to significantly improve the performance of PTQ through reconstruction in the Vision Transformer (ViT) have shown limited efficacy. In this paper, we conduct a thorough analysis of the reasons for this limited effectiveness and propose MGRQ (Mixed Granularity Reconstruction Quantization) as a solution to address this issue. Unlike previous reconstruction schemes, MGRQ introduces a mixed granularity reconstruction approach. Specifically, MGRQ enhances the performance of PTQ by introducing Extra-Block Global Supervision and Intra-Block Local Supervision, building upon Optimized Block-wise Reconstruction. Extra-Block Global Supervision considers the relationship between block outputs and the model's output, aiding block-wise reconstruction through global supervision. Meanwhile, Intra-Block Local Supervision reduces generalization errors by aligning the distribution of outputs at each layer within a block. Subsequently, MGRQ is further optimized for reconstruction through Mixed Granularity Loss Fusion. Extensive experiments conducted on various ViT models illustrate the effectiveness of MGRQ. Notably, MGRQ demonstrates robust performance in low-bit quantization, thereby enhancing the practicality of the quantized model.
• Abstract（参考訳）: 後トレーニング量子化(PTQ)は視覚モデルを効率よく圧縮するが、残念ながらある程度の精度劣化を伴う。 再構成手法は、量子化モデルと完全精度モデルとのギャップを狭め、しばしば有望な結果をもたらすことによってモデル性能を向上させることを目的としている。 しかし,視覚変換器(ViT)の再構成によりPTQの性能を大幅に向上させる試みは,有効性に限界があることが示されている。 本稿では,この限界効果の理由を徹底的に分析し,MGRQ(Mixed Granularity Reconstruction Quantization)をこの問題に対する解決策として提案する。 従来の復元方式とは異なり、MGRQは混合粒度再構成方式を導入している。 特に、MGRQは、最適化ブロックワイドレコンストラクションに基づいて、Extra-Block Global SupervisionとIntra-Block Local Supervisionを導入し、PTQの性能を向上させる。 Extra-Block Global Supervisionはブロック出力とモデル出力の関係を考察し、グローバル監視によるブロックワイズ再構築を支援する。 一方、ブロック内局所スーパービジョンは、ブロック内の各層における出力の分布を整列することで、一般化誤差を低減する。 その後、MGRQはMixed Granularity Loss Fusionによる再構築のためにさらに最適化されている。 様々なViTモデルで実施された大規模な実験は、MGRQの有効性を示している。 特に、MGRQは低ビット量子化におけるロバストな性能を示し、量子化モデルの実用性を高める。

関連論文リスト

• Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization [0.0]
  学習後の量子化は、大規模な言語モデル(LLM)を再学習せずに圧縮する手法として広く使われている。 層間の量子化誤差の蓄積は、特に低ビット状態において、性能を著しく低下させる。 本稿では,QEP(Quantization Error propagation)を提案する。QEP(Quantization Error propagation)は,QEP(Quantization Error propagation)を明示的に伝播させることにより,レイヤワイドPTQを強化する軽量で汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2025-04-13T15:56:00Z)
• APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
  平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。 本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
  論文  参考訳（メタデータ） (2025-04-03T11:48:56Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• UniRestorer: Universal Image Restoration via Adaptively Estimating Image Degradation at Proper Granularity [79.90839080916913]
  We present our UniRestorer with improve restoration performance。 具体的には、劣化空間上で階層的クラスタリングを行い、マルチグラニュラリティ・ミックス・オブ・エキスパート(MoE)復元モデルを訓練する。 UniRestorerは、既存の劣化診断法と -aware 法とは対照的に、劣化推定を利用して劣化特定回復の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2024-12-28T14:09:08Z)
• Progressive Fine-to-Coarse Reconstruction for Accurate Low-Bit Post-Training Quantization in Vision Transformers [13.316135182889296]
  後トレーニング量子化(PTQ)は視覚変換器(ViT)の圧縮に広く採用されている。 低ビット表現に量子化されると、完全精度の表現に比べて大きな性能低下がしばしば起こる。 低ビット量子化ビジョントランスの性能を大幅に向上させるPFCR法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T08:38:59Z)
• DR-BFR: Degradation Representation with Diffusion Models for Blind Face Restoration [7.521850476177286]
  低品質 (LQ) の顔画像から様々な劣化を分解する能力を持つ拡散モデルを開発した。 DR-BFRと呼ばれる新しい修復手法は、劣化表現(DR)とLQ画像からのコンテンツ特徴を取り入れることで、遅延拡散モデル(LDM)の認知を導く。 DR-BFRは、様々なデータセットに対して定量的かつ質的に最先端の手法を著しく上回る。
  論文  参考訳（メタデータ） (2024-11-15T15:24:42Z)
• SurgeryV2: Bridging the Gap Between Model Merging and Multi-Task Learning with Deep Representation Surgery [54.866490321241905]
  モデルマージに基づくマルチタスク学習(MTL)は、複数のエキスパートモデルをマージしてMTLを実行するための有望なアプローチを提供する。 本稿では,統合モデルの表現分布について検討し,「表現バイアス」の重要な問題を明らかにする。 このバイアスは、マージされたMTLモデルの表現と専門家モデルの間の大きな分布ギャップから生じ、マージされたMTLモデルの最適下性能に繋がる。
  論文  参考訳（メタデータ） (2024-10-18T11:49:40Z)
• GLMHA A Guided Low-rank Multi-Head Self-Attention for Efficient Image Restoration and Spectral Reconstruction [36.23508672036131]
  本稿では,チャネルワイド・セルフアテンションを置き換えるために,インスタンス誘導型低ランクマルチヘッド・セルフアテンションを提案する。 提案したGLMHAに共通するのは、短い入力シーケンスと長い入力シーケンスの両方に対して計算利得を提供する能力である。 その結果,7.7ギガFLOPsの削減が達成され,最高の性能モデルの性能を維持するために必要なパラメータが370K削減された。
  論文  参考訳（メタデータ） (2024-10-01T04:07:48Z)
• DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers [2.0862654518798034]
  本稿では,視覚変換器のための分散親和性・外乱性を考慮したポストトレーニング量子化手法を提案する。 DopQ-ViTは、現在の量子化器の非効率性を分析し、TanQと呼ばれる分布に優しいタン量子化器を導入する。 DopQ-ViTは広範囲に検証され、量子化モデルの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-06T16:40:04Z)
• Boosting Image Restoration via Priors from Pre-trained Models [54.83907596825985]
  我々は、OSFによるターゲット復元ネットワークの復元結果を改善するために、Pre-Train-Guided Refinement Module (PTG-RM)と呼ばれる軽量モジュールを学習する。 PTG-RMは、低照度強化、デラリニング、デブロアリング、デノナイジングなど、様々なタスクにおける様々なモデルの復元性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-03-11T15:11:57Z)
• Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts [52.39959535724677]
  画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-12-12T14:27:59Z)
• PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance [65.5618804029422]
  これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。 実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。 提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
  論文  参考訳（メタデータ） (2023-09-19T17:51:33Z)
• A Unified Conditional Framework for Diffusion-based Image Restoration [39.418415473235235]
  画像復元のための拡散モデルに基づく統一条件付きフレームワークを提案する。 我々は、軽量なUNetを利用して初期ガイダンスと拡散モデルを予測し、指導の残余を学習する。 そこで本研究では,高解像度画像を扱うために,単純なステップ間パッチ分割方式を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:22:24Z)
• Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
  本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。 IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。 スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
  論文  参考訳（メタデータ） (2023-03-29T07:02:20Z)
• GCVAE: Generalized-Controllable Variational AutoEncoder [0.0]
  極めて低い復元誤差と高い絡み合いスコアのトレードオフを扱うための枠組みを提案する。 復元ネットワークにおける情報の最大化は、償却推論時の情報と等価であることを示す。
  論文  参考訳（メタデータ） (2022-06-09T02:29:30Z)
• Attentive Fine-Grained Structured Sparsity for Image Restoration [63.35887911506264]
  N:M 構造化プルーニングは,モデルの精度制約を効率的にするための効果的かつ実用的なプルーニング手法の1つである。 そこで本稿では, 各層におけるN:M構造化空間の刈り取り比を決定する新しい刈り取り法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T12:44:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。