論文の概要: Retraining-Free Depth Pruning of Vision Transformers: A Cross Domain Study of Layer Redundancy

• arxiv url: http://arxiv.org/abs/2610.15005v1
• Date: Sat, 10 Oct 2026 15:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 03:00:08.405312
• Title: Retraining-Free Depth Pruning of Vision Transformers: A Cross Domain Study of Layer Redundancy
• Title（参考訳）: 視覚変換器の学習自由深さプルーニング:層冗長性に関するクロスドメイン研究
• Abstract要約: 類似性に基づく冗長性解析を視覚モデルに拡張する。 いくつかのトランスアーキテクチャにおける冗長性パターンについて検討する。 与えられたデータセットに対して最適なプルーニング構成を自動的に識別するモデル選択パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 48.059597186585414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer architectures have achieved strong results in natural language processing and computer vision, but their deployment is limited by high computational, memory and storage costs, motivating research into model compression techniques, such as pruning, while preserving performance. Prior work has shown substantial redundancy in large language models (LLMs), and redundancy in vision transformers has also been investigated, but it remains less systematically analyzed than in LLMs. In this work, we extend similarity-based redundancy analysis to vision models by measuring cosine similarity between layer inputs and outputs to identify transformations with minimal impact. We study redundancy patterns across several transformer architectures and find that deep vision transformers such as DINOv2 and SwinV2, like language models, exhibit significant redundancy. We then evaluate how this redundancy can be exploited to improve efficiency, analyzing the trade-off between inference speed and performance degradation under different pruning strategies. Our results show that moderate pruning can yield substantial acceleration with limited impact on accuracy, and that 20% of the DINOv2 blocks can be removed without any retraining, for a 1.24x throughput gain and a 20% lower energy per image at a relative accuracy loss below 1% on ImageNet-1K. We further propose a model selection pipeline that automatically identifies the best pruned configuration for a given dataset, reducing FLOPs by 13% to 27% on average across architectures with an average accuracy change between -0.3 and +1.0 points.
• Abstract（参考訳）: トランスフォーマーアーキテクチャは自然言語処理やコンピュータビジョンにおいて大きな成果を上げているが、その展開は高い計算、メモリ、ストレージコストによって制限され、プルーニングなどのモデル圧縮技術の研究を動機付け、性能を保っている。 従来の研究は大規模言語モデル (LLM) にかなりの冗長性を示しており、視覚変換器の冗長性も研究されているが、LLMよりも体系的には分析されていない。 本研究では,視覚モデルに類似性に基づく冗長性解析を拡張し,層入力と出力のコサイン類似度を測定し,最小限の影響で変換を識別する。 DINOv2 や SwinV2 のような深層視覚変換器は,言語モデルと同様に,大きな冗長性を示す。 そして,この冗長性を有効利用して効率を向上し,異なるプルーニング戦略の下での推論速度と性能劣化のトレードオフを解析する。 以上の結果から,DINOv2ブロックの20%は1.24倍のスループットゲインと20%低エネルギーで,画像Net-1Kでは1%未満の精度で除去できることがわかった。 さらに、与えられたデータセットに対して最適なプルーニング構成を自動的に識別するモデル選択パイプラインを提案し、FLOPを平均13%から27%削減し、平均精度を-0.3から+1.0ポイントに変更する。

関連論文リスト

• Rethinking Vision Transformer Depth via Structural Reparameterization [16.12815682992294]
  本稿では,訓練期間中に機能する分岐型構造パラメータ化手法を提案する。 提案手法では, 変圧器ブロック内の並列分岐を利用して, 合理化シングルパスモデルに体系的に統合する。 ViT-Tinyに適用した場合、このフレームワークは、ImageNet-1Kの分類精度を維持しながら、元の12層アーキテクチャを6層、4層、もしくは3層に改善する。
  論文  参考訳（メタデータ） (2025-11-24T21:28:55Z)
• Diversity-Guided MLP Reduction for Efficient Large Vision Transformers [62.33249256133204]
  トランスフォーマーモデルは優れたスケーリング特性を実現し、モデルキャパシティの増大により性能が向上する。 大規模モデルパラメータは、計算とメモリの大幅なコストにつながる。 そこで本稿では,大規模な視覚変換器のパラメータを著しく削減するDGMR法を提案する。
  論文  参考訳（メタデータ） (2025-06-10T08:59:27Z)
• Transformer Meets Twicing: Harnessing Unattended Residual Information [2.1605931466490795]
  トランスフォーマーベースのディープラーニングモデルは、多くの言語やビジョンタスクで最先端のパフォーマンスを達成した。 自己注意機構は複雑なデータパターンを扱えることが証明されているが、注意行列の表現能力はトランスフォーマー層間で著しく低下する。 本研究では,NLM平滑化の低パス動作を軽減するため,非パラメトリック回帰におけるカーネルツイシング手順を用いた新しいアテンション機構であるTwicing Attentionを提案する。
  論文  参考訳（メタデータ） (2025-03-02T01:56:35Z)
• Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer [56.87383229709899]
  我々は、完全量子化視覚変換器(Q-ViT)のための情報修正モジュール(IRM)と分配誘導蒸留法を開発した。 我々の手法は、先行技術よりもはるかに優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-13T04:00:29Z)
• FQ-ViT: Fully Quantized Vision Transformer without Retraining [13.82845665713633]
  本稿では,量子変換器の性能劣化と推論の複雑さを低減するための系統的手法を提案する。 完全に量子化された視覚変換器上で、我々は初めて精度の劣化(1%)を達成した。
  論文  参考訳（メタデータ） (2021-11-27T06:20:53Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。