論文の概要: Rethinking Layer-Wise Information Allocation for Vision Foundation Model Adaptation
- arxiv url: http://arxiv.org/abs/2607.21973v1
- Date: Fri, 24 Jul 2026 04:39:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:57.047983
- Title: Rethinking Layer-Wise Information Allocation for Vision Foundation Model Adaptation
- Title（参考訳）: ビジョンファウンデーションモデル適応のためのレイヤワイズ情報配置の再考
- Abstract要約: Prompted Information Bottlenecks(PIB)は、レイヤワイド圧縮のトレードオフを規則化し、より一貫性のあるクロスレイヤ情報パスを促進するフレームワークである。
PIBは34のデータセットで強いパフォーマンスを達成し、FGVCで92.1%、HTAで93.01%、VTAB-1kで77.33%に達した。
これらの結果は、凍結した視覚基盤モデルに適応するための実践的手法と情報配置の観点から、PIBを位置づけている。
- 参考スコア（独自算出の注目度）: 42.92624141712034
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision foundation models are increasingly reused as frozen backbones for downstream visual recognition, making parameter-efficient adaptation a central problem. Prompt-based adaptation, including Visual Prompt Tuning (VPT), provides a lightweight way to specialize these models, but its layer-wise behavior remains poorly understood: performance is sensitive to prompt depth, placement, and task distribution, and gains on standard in-domain benchmarks do not always translate into robust generalization. We argue that this limitation is not solely an optimization issue, but a layer-wise information allocation issue: existing prompt-based methods lack principled control over what prompt-conditioned representations should preserve, suppress, and propagate across depth. Inspired by the Information Bottleneck principle, we introduce Prompted Information Bottlenecks (PIB), a framework that regularizes layer-wise compression-sufficiency trade-offs and promotes a more coherent cross-layer information path. The key idea is that effective adaptation should be minimal yet sufficient, retaining task-relevant local evidence in earlier layers while progressively discarding nuisance factors and redundant details in deeper layers. Extensive experiments show that PIB achieves strong performance across 34 datasets, reaching 92.1% on FGVC, 93.01% on HTA, and 77.33% on VTAB-1k, while tuning only 0.35% parameters on average across the main settings. Beyond benchmark accuracy, PIB helps explain the non-monotonic behavior of prompt capacity scaling, reduces shortcut reliance, and improves robustness under distribution shift and fine-grained recognition settings. These results position PIB as both a practical method and an information-allocation perspective for adapting frozen vision foundation models. Our code is available at https://github.com/itsnotacie/MM-26-PIB
- Abstract（参考訳）: 視覚基盤モデルは、下流の視覚認識のための冷凍バックボーンとして再利用され、パラメータ効率の適応が中心的な問題となっている。
Visual Prompt Tuning (VPT)を含むプロンプトベースの適応は、これらのモデルを専門化するための軽量な方法を提供するが、その層的な振る舞いは理解されていない。
既存のプロンプトベースのメソッドでは、プロンプト条件付き表現の保存、抑制、伝播の原則的な制御が欠如している。
Information Bottleneckの原則にインスパイアされたPmpted Information Bottlenecks(PIB)は,レイヤ単位の圧縮効率のトレードオフを規則化し,より一貫性のあるクロスレイヤ情報パスを促進するフレームワークである。
鍵となる考え方は、効果的な適応は最小限で十分であり、タスク関連ローカルな証拠を以前のレイヤに保持しつつ、より深いレイヤでナンセンスな要素や冗長な詳細を徐々に破棄する、というものだ。
大規模な実験により、PIBは34のデータセットで強いパフォーマンスを達成し、FGVCで92.1%、HTAで93.01%、VTAB-1kで77.33%に達した。
ベンチマーク精度の他に、PIBは、迅速なキャパシティスケーリングの非単調な振る舞いを説明し、ショートカット依存を低減し、分散シフトと微粒化認識設定下での堅牢性を改善する。
これらの結果は、凍結した視覚基盤モデルに適応するための実践的手法と情報配置の観点から、PIBを位置づけている。
私たちのコードはhttps://github.com/itsnotacie/MM-26-PIBで利用可能です。
関連論文リスト
- Scaling Adaptive Depth with Norm-Agnostic Residual Networks [9.219329760729629]
NAGは標準に依存しない残差アーキテクチャであり、残差ストリームの方向情報から大きさを分離する。
NAGは無視できる数の追加パラメータしか導入せず、簡単にカーネルで実現可能な単純な操作に依存している。
このアーキテクチャはベースライントランスフォーマーよりも優れており,奥行きが大きくなるにつれて大幅に向上することを示す。
論文 参考訳（メタデータ） (2026-06-15T02:05:37Z) - Accelerating Vision Foundation Models with Drop-in Depthwise Convolution [51.50107862675191]
我々は、注目ヘッドのドロップイン代替として機能する、効率的な奥行き畳み込みベースの層を導入する。
画像分類とセグメンテーションの両方のタスクにおいて,提案手法は性能劣化を最小限に抑えながら17～20%の推論高速化を実現している。
論文 参考訳（メタデータ） (2026-05-21T08:07:23Z) - Channel-Level Relation to Attentive Aggregation with Neighborhood-Homogeneity Constraint for Point Cloud Analysis [14.63838637349137]
3Dポイントのクラウド理解では、複雑な地区内の差別的特徴を正確に捉えることが課題である。
既存の手法では特徴相関の識別を探索するが、点レベルの空間分布やチャネル応答に制限される。
本稿では,チャネルレベルのメートル法に基づく拡張機構を備えた新しいネットワークであるPointCRAを提案する。
論文 参考訳（メタデータ） (2026-05-04T08:59:36Z) - Monocular Depth Estimation From the Perspective of Feature Restoration: A Diffusion Enhanced Depth Restoration Approach [17.258737579616856]
単眼深度推定(MDE)は、3次元視覚において重要な応用が可能な基本的なコンピュータビジョンタスクである。
本稿では,先述した問題をまず検討し,エンコーダの機能改善が可能である場合,現在のフレームワークにはまだ大きな可能性があることを示す。
実験により,提案手法は各種データセットの最先端手法よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2026-04-09T00:13:53Z) - Visual prompting reimagined: The power of the Activation Prompts [72.85146015928626]
本稿では,入力レベルのVPの範囲を広げる,アクティベーションプロンプト(AP)の概念を導入する。
APは畳み込みニューラルネットワークと視覚変換器の正規化チューニングと密接に関連している。
畳み込みニューラルネットワークと視覚変換器の正規化チューニングとAPは密接に関連していることを示す。
論文 参考訳（メタデータ） (2026-04-07T20:28:24Z) - Beyond Weight Adaptation: Feature-Space Domain Injection for Cross-Modal Ship Re-Identification [3.6907522136316975]
CMS Re-ID(Cross-Modality Ship Re-Identification)は、全天候の海上目標追跡を実現するために重要である。
モダリティギャップのブリッジ化におけるビジョン・ファンデーション・モデル(VFM)の可能性を探る。
ドメイン表現注入(Domain Representation Injection, DRI)と呼ばれる新しいPEFT戦略を提案する。
論文 参考訳（メタデータ） (2025-12-24T02:30:23Z) - Glocal Information Bottleneck for Time Series Imputation [70.41814118117311]
Time Series Imputationは、時間データの欠落した値を復元することを目的としている。
既存のモデルは、通常、数値(ローカル情報)の回復に焦点をあてて、ポイントワイズ復元損失を最適化する。
我々はGlocal Information Bottleneck(Glocal-IB)という新たなトレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2025-10-06T15:24:44Z) - Visual Fourier Prompt Tuning [63.66866445034855]
本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。
提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。
提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-11-02T18:18:35Z) - IB-AdCSCNet:Adaptive Convolutional Sparse Coding Network Driven by Information Bottleneck [4.523653503622693]
IB-AdCSCNetは情報ボトルネック理論に基づくディープラーニングモデルである。
IB-AdCSCNetは、情報ボトルネックトレードオフ戦略をディープネットワークにシームレスに統合する。
CIFAR-10とCIFAR-100データセットの実験結果は、IB-AdCSCNetが深い残差畳み込みネットワークの性能にマッチするだけでなく、破損したデータを扱う際の性能も優れていることを示した。
論文 参考訳（メタデータ） (2024-05-23T05:35:57Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳（メタデータ） (2023-12-19T06:06:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。