論文の概要: Adapting Vision Foundation Models with Cascaded Semantics

• arxiv url: http://arxiv.org/abs/2608.05393v1
• Date: Wed, 05 Aug 2026 20:23:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.783445
• Title: Adapting Vision Foundation Models with Cascaded Semantics
• Title（参考訳）: カスケードセマンティックスを用いた視覚基礎モデルの適用
• Abstract要約: 視覚プロンプトチューニング(VPT)は、追加のプロンプトパラメータの小さなセットを更新することで、事前訓練された視覚トランスフォーマー(ViT)に適応する。 本稿では,2つの相補的セマンティクスをVPTに注入することで,このギャップに対処する。 本稿では,ViT適応を通じて両方の先行情報を統合したケースケード方式を提案する。
• 参考スコア（独自算出の注目度）: 41.09567727920525
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Prompt tuning, a leading parameter-efficient adaptation paradigm in NLP, has recently been extended to computer vision. Visual prompt tuning (VPT) adapts pre-trained vision transformers (ViTs) by updating a small set of additional prompt parameters. However, existing visual prompts are randomly initialized and do not exploit prior knowledge, such as instructions in NLP. We address this gap by injecting two complementary semantic priors into VPT. Fundamental image priors, including color, texture, and shape, are extracted with classical hand-crafted operators and injected into the input space, while self-attention maps provide instance-aware semantics in the feature space. We further propose a cascaded scheme that integrates both priors throughout ViT adaptation. Experiments on 34 challenging image classification datasets demonstrate superior downstream adaptation while tuning only 0.74% of ViT parameters. Project page: https://xixiaouab.github.io/Cascaded-Semantics/.
• Abstract（参考訳）: NLPの主要なパラメータ効率適応パラダイムであるPrompt tuningは、最近コンピュータビジョンに拡張されている。 視覚プロンプトチューニング(VPT)は、追加のプロンプトパラメータの小さなセットを更新することで、事前訓練された視覚トランスフォーマー(ViT)に適応する。 しかし、既存の視覚的プロンプトはランダムに初期化され、NLPの命令のような事前知識を利用できない。 本稿では,2つの相補的セマンティクスをVPTに注入することで,このギャップに対処する。 色、テクスチャ、形状などの基本的な画像は、古典的な手作りの演算子によって抽出され、入力空間に注入される。 さらに,ViT適応を通じて,両方の先行情報を統合したカスケード方式を提案する。 34の挑戦的な画像分類データセットの実験では、VTパラメータのわずか0.74%をチューニングしながら、より優れた下流適応が示されている。 プロジェクトページ: https://xixiaouab.github.io/Cascaded-Semantics/

関連論文リスト

• Visual Variational Autoencoder Prompt Tuning [20.387933505896388]
  本稿では,動的に入力に依存したプロンプトを生成する新しいフレームワークであるV$2$APT(Visual Variational Autoencoder Prompt Tuning)を紹介する。 FGVC, HTA, VTAB-1kベンチマークの実験により, 提案手法は最先端PEFT法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-22T04:59:51Z)
• Sparse-Tuning: Adapting Vision Transformers with Efficient Fine-tuning and Inference [14.030836300221756]
  textbfSparse-Tuningは、画像やビデオの情報冗長性を考慮に入れた新しいPEFTメソッドである。 Sparse-Tuningは各層で処理されるトークンの量を最小限に抑え、計算とメモリのオーバーヘッドを2次的に削減する。 我々のSparse-TuningはGFLOPsを62%-70%に削減し,最先端性能を実現した。
  論文  参考訳（メタデータ） (2024-05-23T15:34:53Z)
• Denoising Vision Transformers [43.03068202384091]
  本稿では、DVT(Denoising Vision Transformers)と呼ばれる2段階のDenoisingアプローチを提案する。 第1段階では、画像ごとのニューラルネットワークとの横断的な特徴整合を強制することにより、位置的アーティファクトによって汚染されたものからクリーンな特徴を分離する。 第2段階では、クリーンな特徴を生のViT出力から予測するために軽量なトランスフォーマーブロックを訓練し、クリーンな特徴の導出推定を監督として活用する。
  論文  参考訳（メタデータ） (2024-01-05T18:59:52Z)
• p-Laplacian Adaptation for Generative Pre-trained Vision-Language Models [10.713680139939354]
  大きなコーパスで事前訓練された視覚言語モデル(VLM)は、下流のタスクで顕著な成功を収めている。 PETLはフル微調整の代替として注目されている。 グラフニューラルネットワーク(GNN)において,$p$-Laplacianメッセージパッシングを利用する新しいアダプタアーキテクチャである$p$-adapterを提案する。
  論文  参考訳（メタデータ） (2023-12-17T05:30:35Z)
• PriViT: Vision Transformers for Fast Private Inference [55.36478271911595]
  Vision Transformer (ViT) アーキテクチャは、コンピュータビジョンアプリケーションのための最先端のディープモデルのバックボーンとして登場した。 ViTは、多くの非ポリノミカル操作のため、セキュアなマルチパーティプロトコルを使用したプライベート推論には適していない。 予測精度を維持しつつ,ViTの非線形性を選択的に"テイラー化"するアルゴリズムであるPriViTを提案する。
  論文  参考訳（メタデータ） (2023-10-06T21:45:05Z)
• TRIPS: Efficient Vision-and-Language Pre-training with Text-Relevant Image Patch Selection [61.0662744915659]
  我々は,textbfText-textbfRelevant textbfImage textbfPatch textbfSelection,すなわちTRIPSを用いた視覚・言語事前学習モデルを提案する。 TRIPSは、効率的なトレーニングと推論のために、視覚バックボーン内のテキスト誘導パッチ選択層によって、視覚的シーケンスを徐々に減少させる。
  論文  参考訳（メタデータ） (2023-05-08T05:53:30Z)
• Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
  そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。 新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能 我々は,我々のモデルの有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-06T08:42:05Z)
• Pro-tuning: Unified Prompt Tuning for Vision Tasks [133.12978197265596]
  ファインチューニングは、トレーニング済みの視覚モデルを利用して下流タスクを実行するデファクトアプローチである。 本研究では,様々な下流視覚タスクに凍結視覚モデルを適用するために,パラメータ効率のよいプロンプトチューニング(Pro-tuning)を提案する。
  論文  参考訳（メタデータ） (2022-07-28T21:09:31Z)
• AdaViT: Adaptive Tokens for Efficient Vision Transformer [91.88404546243113]
  本稿では,視覚変換器(ViT)の推論コストを,複雑さの異なる画像に対して適応的に調整する手法であるAdaViTを紹介する。 AdaViTは、推論が進むにつれてネットワーク内で処理されるビジョントランスフォーマーのトークン数を自動で削減することで、これを実現する。
  論文  参考訳（メタデータ） (2021-12-14T18:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。