論文の概要: Efficient Test-Time Adaptation of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2403.18293v1
• Date: Wed, 27 Mar 2024 06:37:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 18:06:46.067047
• Title: Efficient Test-Time Adaptation of Vision-Language Models
• Title（参考訳）: 視覚言語モデルの効率的なテスト時間適応
• Authors: Adilbek Karmanov, Dayan Guan, Shijian Lu, Abdulmotaleb El Saddik, Eric Xing,
• Abstract要約: 事前学習された視覚言語モデルによるテスト時間適応は、テスト時間中に分散シフトに取り組むことに注目が集まっている。 我々は、視覚言語モデルによる効率的なテスト時間適応を可能にするトレーニングフリーな動的アダプタであるTDAを設計する。
• 参考スコア（独自算出の注目度）: 58.3646257833533
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Test-time adaptation with pre-trained vision-language models has attracted increasing attention for tackling distribution shifts during the test time. Though prior studies have achieved very promising performance, they involve intensive computation which is severely unaligned with test-time adaptation. We design TDA, a training-free dynamic adapter that enables effective and efficient test-time adaptation with vision-language models. TDA works with a lightweight key-value cache that maintains a dynamic queue with few-shot pseudo labels as values and the corresponding test-sample features as keys. Leveraging the key-value cache, TDA allows adapting to test data gradually via progressive pseudo label refinement which is super-efficient without incurring any backpropagation. In addition, we introduce negative pseudo labeling that alleviates the adverse impact of pseudo label noises by assigning pseudo labels to certain negative classes when the model is uncertain about its pseudo label predictions. Extensive experiments over two benchmarks demonstrate TDA's superior effectiveness and efficiency as compared with the state-of-the-art. The code has been released in \url{https://kdiaaa.github.io/tda/}.
• Abstract（参考訳）: 事前学習された視覚言語モデルによるテスト時間適応は、テスト時間中に分散シフトに取り組むことに注目が集まっている。 以前の研究では、非常に有望な性能を達成しているが、それらはテスト時間適応と大きく一致しない集中的な計算に関係している。 我々は、視覚言語モデルによる効率的なテスト時間適応を可能にするトレーニングフリーな動的アダプタであるTDAを設計する。 TDAは、数ショットの擬似ラベルを値として、対応するテストサンプル機能をキーとして持つ動的キューを維持する軽量なキーバリューキャッシュで動作する。 キー値キャッシュを利用することで、TDAは、バックプロパゲーションを発生させることなく、超効率のプログレッシブな擬似ラベルリファインメントを通じて、データを徐々にテストできる。 さらに、擬似ラベル予測が不確実な場合には、擬似ラベルを特定の負のクラスに割り当てることにより、擬似ラベルノイズの悪影響を軽減する負の擬似ラベル付けを導入する。 2つのベンチマークに対する大規模な実験は、TDAの優れた効率と効率を最先端と比較して示している。 コードは \url{https://kdiaaa.github.io/tda/} でリリースされた。

関連論文リスト

• Test-time Alignment-Enhanced Adapter for Vision-Language Models [6.549059375031384]
  事前学習型視覚言語モデル(VLM)によるテスト時間適応は、テストフェーズにおける分布シフトの問題に対処するために注目が集まっている。 テスト時間アライメント拡張アダプタ(TAEA)と呼ばれる新しいアプローチを導入し、テストフェーズ中にテキスト機能を調整するために、テストサンプルでアダプタをトレーニングする。
  論文  参考訳（メタデータ） (2024-11-24T06:43:38Z)
• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
  トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。 単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。 Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• Few Clicks Suffice: Active Test-Time Adaptation for Semantic Segmentation [14.112999441288615]
  テスト時間適応(TTA)は、未ラベルのテストデータを使用した推論中に事前訓練されたモデルに適応する。 TTAアプローチと教師付きアプローチの間には,依然として大きなパフォーマンスギャップがあります。 本稿では,モデルアダプタとラベルアノテータの2つの部分からなるATASegフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-04T12:16:02Z)
• Noise-Tolerant Few-Shot Unsupervised Adapter for Vision-Language Models [8.59772105902647]
  NtUAは、雑音耐性のない教師なし適応器で、非競合なターゲットサンプルをほとんど持たない効果的なターゲットモデルの学習を可能にする。 NtUAは、視覚的特徴を定式化したキー値キャッシュとして機能し、少数の未ラベルのターゲットサンプルの擬似ラベルをキー値ペアとして予測する。 NtUAは、広く採用されている複数のベンチマークにおいて、一貫して優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-09-26T13:35:31Z)
• Rethinking Precision of Pseudo Label: Test-Time Adaptation via Complementary Learning [10.396596055773012]
  本稿では,テスト時間適応性を高めるための新しい補完学習手法を提案する。 テスト時適応タスクでは、ソースドメインからの情報は通常利用できない。 我々は,相補ラベルのリスク関数がバニラ損失式と一致することを強調した。
  論文  参考訳（メタデータ） (2023-01-15T03:36:33Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Contrastive Test-Time Adaptation [83.73506803142693]
  本稿では,自己指導型コントラスト学習を活用して特徴学習を支援する新しい手法を提案する。 擬似ラベルをオンラインで作成し、ターゲットのフィーチャースペースに最も近い隣人の間でソフト投票によってそれらを洗練します。 我々の手法であるAdaContrastは、主要なベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-04-21T19:17:22Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。