論文の概要: Just Shift It: Test-Time Prototype Shifting for Zero-Shot Generalization with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2403.12952v1
• Date: Tue, 19 Mar 2024 17:54:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 13:04:26.685076
• Title: Just Shift It: Test-Time Prototype Shifting for Zero-Shot Generalization with Vision-Language Models
• Title（参考訳）: Just Shift It: ビジョンランゲージモデルによるゼロショット一般化のためのテスト時間プロトタイプシフト
• Authors: Elaine Sui, Xiaohan Wang, Serena Yeung-Levy,
• Abstract要約: Test-Time Prototype Shifting (TPS)は、未ラベルのテスト入力を使用したデータセットのテストに視覚言語モデルを適用するために設計された先駆的なアプローチである。 TPSは、その後の予測のために最適化不要なプロトタイプの再利用を促進するだけでなく、プロンプトエンジニアリングにおける現在の進歩とシームレスに統合することを可能にする。 我々のフレームワークの特筆すべき点は、従来のテキストプロンプトチューニング手法と比較して、メモリと計算要求が大幅に削減されていることである。
• 参考スコア（独自算出の注目度）: 19.683461002518147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advancements in vision-language models (VLMs) have propelled the field of computer vision, particularly in the zero-shot learning setting. Despite their promise, the effectiveness of these models often diminishes due to domain shifts in test environments. To address this, we introduce the Test-Time Prototype Shifting (TPS) framework, a pioneering approach designed to adapt VLMs to test datasets using unlabeled test inputs. Our method is based on the notion of modulating per-class prototypes in the shared embedding space. By pre-computing and caching prototypes generated with the pre-trained text encoder, TPS not only facilitates optimization-free prototype reuse for subsequent predictions but also enables seamless integration with current advancements in prompt engineering. At test-time, TPS dynamically learns shift vectors for each prototype based solely on the given test sample, effectively bridging the domain gap and enhancing classification accuracy. A notable aspect of our framework is its significantly reduced memory and computational demands when compared to conventional text-prompt tuning methods. Extensive evaluations across 15 datasets involving natural distribution shifts and cross-dataset generalization demonstrate TPS's superior performance, achieving state-of-the-art results while reducing resource requirements.
• Abstract（参考訳）: 視覚言語モデル(VLM)の進歩は、特にゼロショット学習においてコンピュータビジョンの分野を推進している。 約束に反して、これらのモデルの有効性はテスト環境におけるドメインシフトによって低下することが多い。 これを解決するために、未ラベルのテスト入力を使用したデータセットのテストにVLMを適用するために設計された先駆的なアプローチであるTest-Time Prototype Shifting(TPS)フレームワークを紹介した。 本手法は,共有埋め込み空間におけるクラスごとのプロトタイプを変調する概念に基づいている。 事前学習されたテキストエンコーダで生成されたプロトタイプを事前計算およびキャッシュすることにより、PSはその後の予測のために最適化不要なプロトタイプの再利用を容易にするだけでなく、プロンプトエンジニアリングにおける現在の進歩とのシームレスな統合を可能にする。 テスト時に、TPSは与えられたテストサンプルのみに基づいて各プロトタイプのシフトベクトルを動的に学習し、ドメインギャップを効果的にブリッジし、分類精度を向上する。 我々のフレームワークの特筆すべき点は、従来のテキストプロンプトチューニング手法と比較して、メモリと計算要求が大幅に削減されていることである。 自然分布シフトとクロスデータセットの一般化を含む15のデータセットにわたる広範囲な評価は、TPSの優れた性能を示し、リソース要求を低減しつつ、最先端の結果を達成する。

関連論文リスト

• Words Matter: Leveraging Individual Text Embeddings for Code Generation in CLIP Test-Time Adaptation [21.20806568508201]
  テスト時推論において視覚言語モデル(VLM)が遭遇する分布ドリフトを軽減するために,クラステキスト情報を活用する方法を示す。 本稿では,ラベル割り当て問題の固定セントロイドとしてジェネリッククラステキスト埋め込みを利用して,テスト時間サンプルの擬似ラベルを生成することを提案する。 多様な複雑性を示す複数の人気のあるテスト時間適応ベンチマークの実験は、CLIP-OTの優位性を実証的に示している。
  論文  参考訳（メタデータ） (2024-11-26T00:15:37Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Test-Time Domain Generalization for Face Anti-Spoofing [60.94384914275116]
  Face Anti-Spoofing (FAS) は、顔認識システムをプレゼンテーション攻撃から保護するために重要である。 本稿では,テストデータを活用してモデルの一般化性を高める新しいテスト時間領域一般化フレームワークについて紹介する。 テスト時間スタイル投影 (TTSP) とディバーススタイルシフトシミュレーション (DSSS) によって構成された本手法は, 目に見えないデータを領域空間に効果的に投影する。
  論文  参考訳（メタデータ） (2024-03-28T11:50:23Z)
• Align Your Prompts: Test-Time Prompting with Distribution Alignment for Zero-Shot Generalization [64.62570402941387]
  テスト領域のギャップを埋めるために、機能分散シフトを最小限にして、テスト時にマルチモーダルプロンプトを適用するために、単一のテストサンプルを使用します。 提案手法は,既存のプロンプト学習技術以上のゼロショットトップ1精度を向上し,ベースラインのMaPLeよりも3.08%向上した。
  論文  参考訳（メタデータ） (2023-11-02T17:59:32Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。