論文の概要: Accelerating Vision Foundation Models with Drop-in Depthwise Convolution

• arxiv url: http://arxiv.org/abs/2605.22132v1
• Date: Thu, 21 May 2026 08:07:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.15226
• Title: Accelerating Vision Foundation Models with Drop-in Depthwise Convolution
• Title（参考訳）: 奥行き畳み込みによる視覚基礎モデルの高速化
• Abstract要約: 我々は、注目ヘッドのドロップイン代替として機能する、効率的な奥行き畳み込みベースの層を導入する。 画像分類とセグメンテーションの両方のタスクにおいて,提案手法は性能劣化を最小限に抑えながら17～20%の推論高速化を実現している。
• 参考スコア（独自算出の注目度）: 51.50107862675191
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pretrained vision foundation models deliver strong performance across tasks with limited fine-tuning. However, their Vision Transformer (ViT) backbones impose high inference costs, limiting deployment on resource-constrained devices. In this work, we accelerate large-scale pretrained ViTs while preserving their feature extraction capabilities by exploiting the intrinsic convolution-like behavior of some attention heads. Specifically, we introduce an efficient depthwise convolution-based layer that serves as a drop-in replacement for these heads. Additionally, we propose simple strategies to identify which heads can be replaced and introduce a fine-tuning procedure that recovers downstream task performance. Across both image classification and segmentation tasks, our method achieves 17-20\% percent inference speedup with minimal performance degradation. We validate the approach through detailed derivations, extensive experiments, and efficiency benchmarks. The reference implementation is publicly available.
• Abstract（参考訳）: 事前訓練されたビジョンファウンデーションモデルは、微調整が限定されたタスク間で強力なパフォーマンスを提供する。 しかし、ViT(Vision Transformer)バックボーンは高い推論コストを課し、リソース制約のあるデバイスへのデプロイメントを制限している。 そこで本研究では,本研究は,注目頭部の内在的畳み込み様挙動を利用して,特徴抽出能力を保ちながら,大規模事前学習VTを高速化する。 具体的には、これらのヘッドのドロップイン代替として機能する、効率的な奥行き畳み込みベースの層を導入する。 さらに、どのヘッドを交換できるかを識別するための簡単な戦略を提案し、下流タスクのパフォーマンスを回復する微調整手順を導入する。 画像分類とセグメンテーションの両方のタスクにおいて,提案手法は性能劣化を最小限に抑えた17～20%の推論高速化を実現している。 我々は、詳細な導出、広範な実験、効率ベンチマークを通じてアプローチを検証する。 リファレンス実装は公開されています。

関連論文リスト

• Rethinking Layer-Wise Information Allocation for Vision Foundation Model Adaptation [42.92624141712034]
  Prompted Information Bottlenecks(PIB)は、レイヤワイド圧縮のトレードオフを規則化し、より一貫性のあるクロスレイヤ情報パスを促進するフレームワークである。 PIBは34のデータセットで強いパフォーマンスを達成し、FGVCで92.1%、HTAで93.01%、VTAB-1kで77.33%に達した。 これらの結果は、凍結した視覚基盤モデルに適応するための実践的手法と情報配置の観点から、PIBを位置づけている。
  論文  参考訳（メタデータ） (2026-07-24T04:39:55Z)
• ViT-FREE: Efficient Face Recognition via Early Exiting and Synthetic Adaptation [16.250163286204593]
  視覚変換器(ViT)はコンピュータビジョンにおいて大きな注目を集めており、顔認識(FR)の強い可能性を示している。 本研究は, 高速FR推論のための簡易かつ効果的なトレーニングフリー戦略として, 事前学習したViTの早期退避について検討する。 バックボーンモデルの変更や再トレーニングをすることなく、中間表現から直接顔認証を可能にするマルチエグジットフレームワークであるViT-FREEを紹介する。
  論文  参考訳（メタデータ） (2026-06-10T12:46:39Z)
• FREE: Fast and Robust Vision Language Models with Early Exits [5.402030962296633]
  我々は、GANベースのフレームワークにおいて、敵対的なトレーニングアプローチであるFREEを紹介する。 提案手法は,最小限の性能低下で推論速度を向上する入力適応推論を実行することに焦点を当てる。 我々は,提案手法が比較性能を維持しつつ,1.51倍以上の速度で推論処理を高速化することを確認した。
  論文  参考訳（メタデータ） (2025-06-07T18:26:58Z)
• Dyn-Adapter: Towards Disentangled Representation for Efficient Visual Recognition [22.615830919860777]
  本稿では動的アダプタ(Dyn-Adapter)という,効率的な視覚認識パラダイムを提案する。 適応的なトレーニング戦略とともに,複数レベルの特徴抽出のための早期のバランスの取れた動的アーキテクチャを考案する。 予測中のFLOPを50%削減し,高い認識精度を維持した。
  論文  参考訳（メタデータ） (2024-07-19T13:33:38Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
  ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。 ViT法はトランスの表現性を生かし,優れた検出性能を実現する。 この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
  論文  参考訳（メタデータ） (2024-04-12T13:02:08Z)
• Hierarchical Side-Tuning for Vision Transformers [33.536948382414316]
  微調整された事前訓練された視覚変換器(ViTs)は、視覚認識タスクの強化に大きく貢献している。 PETLは、完全な微調整に比べてパラメータ更新が少なく、高いパフォーマンスを実現する可能性がある。 本稿では,多様な下流タスクへのVTモデルの転送を容易にする革新的PETL手法である階層側チューニング(HST)を紹介する。
  論文  参考訳（メタデータ） (2023-10-09T04:16:35Z)
• BUS:Efficient and Effective Vision-language Pre-training with Bottom-Up Patch Summarization [89.52943129132217]
  本稿では,BUS という名前のボトムアップ・パッチ・サマリゼーション手法を提案し,視覚的トークン列の簡潔な要約を効率的に学習する。 テキスト・セマンティックス・アウェア・パッチセレクタ(TSPS)をViTバックボーンに組み込んで粗い粒度のビジュアルトークン抽出を行う。 このボトムアップコラボレーションによって、BUSは高いトレーニング効率を得られると同時に、効率性を維持したり、改善したりすることができます。
  論文  参考訳（メタデータ） (2023-07-17T14:08:17Z)
• Pro-tuning: Unified Prompt Tuning for Vision Tasks [133.12978197265596]
  ファインチューニングは、トレーニング済みの視覚モデルを利用して下流タスクを実行するデファクトアプローチである。 本研究では,様々な下流視覚タスクに凍結視覚モデルを適用するために,パラメータ効率のよいプロンプトチューニング(Pro-tuning)を提案する。
  論文  参考訳（メタデータ） (2022-07-28T21:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。