論文の概要: Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models
- arxiv url: http://arxiv.org/abs/2606.26379v1
- Date: Wed, 24 Jun 2026 21:06:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.081818
- Title: Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models
- Title(参考訳): 視覚基礎モデルにおける微分探索による層状プロンプト核融合発見
- Abstract要約: 一つの融合スキームがより良い結果をもたらす傾向があり,それがハイブリッド融合スキームの開発に有用かどうかを考察する。
本稿では,結合と付加に加えて,アフィン変換とクロスアテンションという2つの融合スキームを提案する。
画像トークンとの融合は視覚的プロンプトチューニングにおいて重要な役割を担い、ハイブリッドフュージョン方式はViTの層セマンティクスをより効果的に活用できることを示した。
- 参考スコア(独自算出の注目度): 32.55035648466553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual prompt tuning has emerged as a parameter-efficient fine-tuning approach for adapting large-scale Vision Transformers (ViTs) to downstream tasks. As its learnable prompts are applied in input and feature spaces, prior to jointly going through attention in transformer layers, the most commonly used scheme for fusing image and prompt tokens is concatenation or addition. In this paper, we aim to study a fundamental yet essential problem in visual prompt tuning: whether a single fusion scheme tends to yield better results, and whether that would be beneficial to develop a hybrid fusion scheme. To this end, we formulate the task as a bi-level optimization problem, and solve it leveraging differentiable architecture search. In this context, the learnable prompts and their fusion schemes are jointly optimized. To enrich the search space in the architecture search, we propose two additional fusion schemes, namely, affine transformation and cross-attention, in addition to concatenation and addition. Extensive experiments on 34 datasets spanning VTAB-1k, FGVC, and HTA show consistent gains over prompt-tuning baselines. With a frozen ViT backbone, our method delivers a favorable accuracy--latency--parameter trade-off compared with VPT-Deep and recent variants. Our findings reveal that how prompts fuse with image tokens plays a significant role in visual prompt tuning, and a hybrid fusion fashion can more effectively leverage layer semantics of ViTs, contributing a novel perspective for visual prompt-tuning research.
- Abstract(参考訳): ビジュアルプロンプトチューニングは、大規模な視覚変換器(ViT)を下流タスクに適用するためのパラメータ効率の良い微調整手法として登場した。
学習可能なプロンプトは入力空間と特徴空間に適用されるため、トランスフォーマー層で共同で注目される前に、画像とプロンプトトークンを融合させる最も一般的なスキームは結合または付加である。
本稿では,単一の融合スキームがより良い結果をもたらす傾向があるか,ハイブリッド融合スキームの開発に有用か,といった,視覚的プロンプトチューニングにおける基本的な問題について検討することを目的とする。
この目的を達成するため、二段階最適化問題としてタスクを定式化し、微分可能なアーキテクチャ探索を活用して解決する。
この文脈では、学習可能なプロンプトとその融合スキームは共同で最適化される。
アーキテクチャ探索における探索空間を強化するために,結合と付加に加えて,アフィン変換とクロスアテンションという2つの融合スキームを提案する。
VTAB-1k、FGVC、HTAにまたがる34のデータセットに対する大規模な実験は、プロンプトチューニングベースラインよりも一貫した利得を示している。
凍結したViTバックボーンでは,VPT-Deepや最近の変種と比較して,精度-レイテンシ-パラメータトレードオフが良好である。
画像トークンの融合は視覚的プロンプトチューニングにおいて重要な役割を担い、ハイブリッド融合方式は視覚的プロンプトチューニング研究の新たな視点に寄与する。
関連論文リスト
- CtrlFuse: Mask-Prompt Guided Controllable Infrared and Visible Image Fusion [51.060328159429154]
赤外線と可視画像の融合は、相補的なモダリティを組み合わせることで、全天候の知覚可能な画像を生成する。
我々は,マスクプロンプトによって誘導されるインタラクティブな動的融合を可能にする,制御可能な画像融合フレームワークであるCtrlFuseを提案する。
実験では、融合制御性とセグメンテーション精度の両立を実証し、適応されたタスク分岐は元のセグメンテーションモデルよりも優れていた。
論文 参考訳(メタデータ) (2026-01-12T13:36:48Z) - Mechanisms of Non-Monotonic Scaling in Vision Transformers [0.0]
我々は、深度で表現がどのように進化するかを規定する三相クリフ・オー・クリムブパターンを定式化する。
Information Scrambling Indexと混在する情報のパターンを定量化し、ViT-Lでは、情報タスクのトレードオフがViT-Bよりも約10層遅れていることを示す。
論文 参考訳(メタデータ) (2025-11-26T18:07:14Z) - DA-VPT: Semantic-Guided Visual Prompt Tuning for Vision Transformers [13.964106147449051]
計測学習技術を利用して、プロンプトの分布が微調整性能にどのように影響するかを調べる。
本稿では,プロンプトの分布を案内する新しいフレームワークであるDis Distribution Aware Visual Prompt Tuning (DA-VPT)を提案する。
本手法は,画像パッチとクラストークン間で意味情報を共有するための効果的なブリッジとして,プロンプトが有効であることを示す。
論文 参考訳(メタデータ) (2025-05-29T17:31:26Z) - Visual Fourier Prompt Tuning [63.66866445034855]
本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。
提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。
提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2024-11-02T18:18:35Z) - A Task-guided, Implicitly-searched and Meta-initialized Deep Model for
Image Fusion [69.10255211811007]
本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。
具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。
このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
論文 参考訳(メタデータ) (2023-05-25T08:54:08Z) - Unified Vision and Language Prompt Learning [86.1530128487077]
本稿では,テキストプロンプトチューニングと視覚的プロンプトチューニングという,2つの代表的プロンプトチューニング手法に関する体系的研究を行う。
主要な発見は、テキストプロンプトチューニングは、高いクラス内の視覚的ばらつきを持つデータでは失敗する一方で、視覚的プロンプトチューニングはクラス間のばらつきを低く扱えないことである。
両世界から最高のものを組み合わせるために、我々はUnified Prompt Tuning (UPT)と呼ばれる単純なアプローチを提案する。
論文 参考訳(メタデータ) (2022-10-13T17:50:24Z) - Good Visual Guidance Makes A Better Extractor: Hierarchical Visual
Prefix for Multimodal Entity and Relation Extraction [88.6585431949086]
本稿では,視覚的な実体と関係抽出のための階層型ビジュアルプレフィックス融合NeTwork(HVPNeT)を提案する。
視覚的表現をプラグ可能な視覚的接頭辞とみなして, 誤りに敏感な予測決定のためのテキスト的表現を導出する。
3つのベンチマークデータセットの実験により,本手法の有効性が実証され,最先端の性能が得られた。
論文 参考訳(メタデータ) (2022-05-07T02:10:55Z) - Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge
Graph Completion [112.27103169303184]
マルチモーダル知識グラフ(MKG)は、視覚テキストの事実知識を整理する。
MKGformerは、マルチモーダルリンク予測、マルチモーダルRE、マルチモーダルNERの4つのデータセット上でSOTA性能を得ることができる。
論文 参考訳(メタデータ) (2022-05-04T23:40:04Z) - Pruning Self-attentions into Convolutional Layers in Single Path [89.55361659622305]
ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。
トレーニング済みのViTを効率よく自動圧縮するSPViT(Single-Path Vision Transformer pruning)を提案する。
われわれのSPViTはDeiT-Bで52.0%のFLOPをトリミングできる。
論文 参考訳(メタデータ) (2021-11-23T11:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。