論文の概要: Efficient Test-Time Prompt Tuning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2408.05775v1
• Date: Sun, 11 Aug 2024 13:55:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 15:37:52.218816
• Title: Efficient Test-Time Prompt Tuning for Vision-Language Models
• Title（参考訳）: 視覚言語モデルのための効率的なテスト時間プロンプトチューニング
• Authors: Yuhan Zhu, Guozhen Zhang, Chen Xu, Haocheng Shen, Xiaoxin Chen, Gangshan Wu, Limin Wang,
• Abstract要約: Self-TPTは、効率的なテストタイムプロンプトチューニングにセルフ教師付き学習を活用するフレームワークである。 本稿では,Self-TPTが推論コストを大幅に削減するだけでなく,最先端の性能も向上することを示す。
• 参考スコア（独自算出の注目度）: 41.90997623029582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models have showcased impressive zero-shot classification capabilities when equipped with suitable text prompts. Previous studies have shown the effectiveness of test-time prompt tuning; however, these methods typically require per-image prompt adaptation during inference, which incurs high computational budgets and limits scalability and practical deployment. To overcome this issue, we introduce Self-TPT, a novel framework leveraging Self-supervised learning for efficient Test-time Prompt Tuning. The key aspect of Self-TPT is that it turns to efficient predefined class adaptation via self-supervised learning, thus avoiding computation-heavy per-image adaptation at inference. Self-TPT begins by co-training the self-supervised and the classification task using source data, then applies the self-supervised task exclusively for test-time new class adaptation. Specifically, we propose Contrastive Prompt Learning (CPT) as the key task for self-supervision. CPT is designed to minimize the intra-class distances while enhancing inter-class distinguishability via contrastive learning. Furthermore, empirical evidence suggests that CPT could closely mimic back-propagated gradients of the classification task, offering a plausible explanation for its effectiveness. Motivated by this finding, we further introduce a gradient matching loss to explicitly enhance the gradient similarity. We evaluated Self-TPT across three challenging zero-shot benchmarks. The results consistently demonstrate that Self-TPT not only significantly reduces inference costs but also achieves state-of-the-art performance, effectively balancing the efficiency-efficacy trade-off.
• Abstract（参考訳）: 視覚言語モデルは、適切なテキストプロンプトを備えた場合、印象的なゼロショット分類機能を示した。 従来の研究では、テスト時間プロンプトチューニングの有効性が示されているが、これらの手法は通常、推論中に画像ごとのプロンプト適応を必要とし、高い計算予算を発生させ、スケーラビリティと実用的な展開を制限する。 この問題を克服するために,自己教師型学習を有効活用する新しいフレームワークであるSelf-TPTを紹介した。 Self-TPTのキーとなる側面は、自己教師付き学習による効率的な事前定義されたクラス適応に転換し、推論における計算量の多い画像ごとの適応を避けることである。 自己TPTは、ソースデータを用いて自己教師付きタスクと分類タスクを共同でトレーニングし、テストタイムの新しいクラス適応にのみ自己教師付きタスクを適用する。 具体的には,Contrastive Prompt Learning (CPT) を自己監督の鍵となる課題として提案する。 CPTは、クラス内距離を最小限に抑えつつ、コントラスト学習によるクラス間識別性を向上するように設計されている。 さらに、実証的な証拠は、CPTが分類タスクのバックプロパゲート勾配を忠実に模倣し、その効果のもっともらしい説明を提供することを示唆している。 この発見により、勾配類似性を明示的に向上する勾配マッチング損失も導入した。 我々は3つの挑戦的なゼロショットベンチマークでSelf-TPTを評価した。 その結果,Self-TPTは推論コストを大幅に削減するだけでなく,最先端のパフォーマンスを実現し,効率効率のトレードオフを効果的に両立させることができた。

関連論文リスト

• BaFTA: Backprop-Free Test-Time Adaptation For Zero-Shot Vision-Language Models [20.88680592729709]
  本稿では,視覚言語モデルの試験時間適応のためのバックプロパゲーションフリーアルゴリズムBaFTAを提案する。 BaFTAは、投影された埋め込み空間内のオンラインクラスタリングを使用して、クラスセントロイドを直接推定する。 我々は,BaFTAが最先端の試験時間適応手法を効率と効率の両方で一貫して上回っていることを実証した。
  論文  参考訳（メタデータ） (2024-06-17T08:16:24Z)
• DeCoOp: Robust Prompt Tuning with Out-of-Distribution Detection [52.100335904875614]
  そこで我々は,新しいクラス検出器とサブクラス化器を導入し,基本クラスと新クラスの識別性をさらに向上させる,新しいプロンプトチューニング手法であるDecomposed Context Optimization(DeCoOp)を提案する。 11のベンチマークデータセットによる実験結果から、DePTの有効性が検証され、DeCoOpが現在の最先端手法よりも優れており、平均精度が2%向上していることが示された。
  論文  参考訳（メタデータ） (2024-06-01T07:46:42Z)
• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• Test-Time Training for Semantic Segmentation with Output Contrastive Loss [12.535720010867538]
  ディープラーニングベースのセグメンテーションモデルは、公開ベンチマークで印象的なパフォーマンスを達成したが、目に見えない環境にうまく一般化することは、依然として大きな課題である。 本稿では、適応過程を安定させるために、頑健で一般化された表現を学習する能力で知られるコントラストロス(OCL)を紹介する。 本手法は,テスト領域データに対するドメイン適応法を用いて事前学習したモデルに適用した場合においても優れ,そのレジリエンスと適応性を示す。
  論文  参考訳（メタデータ） (2023-11-14T03:13:47Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• Learning Domain Adaptive Object Detection with Probabilistic Teacher [93.76128726257946]
  確率的教師(PT)と呼ばれる,シンプルで効果的な枠組みを提案する。 PTは、段階的に進化する教師から未ラベルの目標データの不確実性を捉え、相互に有利な方法で生徒の学習を指導することを目的としている。 また,不確実性誘導型自己学習を促進するために,新しいエントロピー・フォカル・ロス(EFL)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T16:24:22Z)
• Guiding Attention for Self-Supervised Learning with Transformers [24.785500242464646]
  双方向変換器を用いた効率的な自己教師型学習を実現する手法を提案する。 我々のアプローチは、訓練されたモデルにおける自己注意パターンが非言語的規則性の大部分を含んでいることを示す最近の研究によって動機付けられている。
  論文  参考訳（メタデータ） (2020-10-06T00:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。