論文の概要: What Drives Test-Time Adaptation for CLIP? A Controlled Empirical Study from an Update Perspective
- arxiv url: http://arxiv.org/abs/2606.14299v1
- Date: Fri, 12 Jun 2026 09:35:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.854913
- Title: What Drives Test-Time Adaptation for CLIP? A Controlled Empirical Study from an Update Perspective
- Title(参考訳): CLIPのテスト時間適応を駆動するものは何か? 最新の知見から
- Authors: Jiazhen Huang, Xiao Chen, Zhiming Liu, Yaru Sun, Jingyan Jiang, Zhi Wang,
- Abstract要約: TTA(Test-Time Adaptation)は最近、軽量ソリューションとしてCLIPに拡張されている。
我々は、最先端の精度の追求から一歩後退し、TTA4CLIPを体系的に制御した研究を行う。
まず,パラメータに基づく手法の駆動要因を抽出し,適応ゲインが主にテストタイムのエビデンスと信頼性プロキシによって駆動されることを明らかにする。
- 参考スコア(独自算出の注目度): 8.53292360255317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language Models (VLMs) such as CLIP have become a standard backbone for open-vocabulary recognition, yet their zero-shot predictions remain vulnerable to distribution shifts encountered at deployment. Test-Time Adaptation (TTA) has recently been extended to CLIP as a lightweight solution, leading to a rapidly growing body of TTA4CLIP methods. However, empirical progress in this area has largely outpaced our understanding of what truly drives adaptation, where their gains originate, and under which shifts they remain reliable. In this paper, we take a step back from the pursuit of state-of-the-art accuracy and conduct a systematic controlled study of TTA4CLIP. We first organize existing methods into three unified paradigms according to what is updated at test time. We then introduce TTABC, an open-source TTA Benchmark for CLIP, which standardizes evaluation protocols and integrates more than 20 representative methods. Our controlled empirical analysis focuses on three key areas. First, we determine the driving factors in parameter-based methods, revealing that adaptation gains are primarily driven by test-time evidence and reliable proxies rather than heavy optimization. Second, we explore evidence utilization beyond heavy parameter tuning, showing that competitive and efficient performance can be achieved through cross- or current-sample evidence and lightweight prototype updates. Finally, we demonstrate that there is no silver bullet for TTA: no single adaptation paradigm is universally optimal, and the preferred paradigm depends on the nature of shift. We hope our benchmark and study provide a clearer understanding of the current TTA4CLIP landscape and establish a foundation for further research.
- Abstract(参考訳): CLIPのようなビジョンランゲージモデル(VLM)は、オープン語彙認識の標準バックボーンとなっているが、ゼロショット予測は、デプロイ時に発生する分散シフトに対して脆弱なままである。
TTA(Test-Time Adaptation)は先頃,軽量なソリューションとしてCLIPに拡張された。
しかし、この領域における実証的な進歩は、本当に適応を促進するもの、そこから得られる利益、そしてどのシフトが信頼できるのかという我々の理解を大きく上回っている。
本稿では,最先端の精度の追求から一歩後退し,TTA4CLIPを系統的に制御した研究を行う。
まず、既存のメソッドをテスト時に更新したものに従って3つの統一パラダイムにまとめます。
次に、評価プロトコルを標準化し、20以上の代表的なメソッドを統合するオープンソースのTTAベンチマークであるTTABCを紹介する。
制御された経験分析は3つの重要な領域に焦点を当てている。
まず,パラメータに基づく手法の駆動要因を抽出し,適応ゲインが重み付けではなく,テストタイムのエビデンスと信頼性の高いプロキシによって主に駆動されることを明らかにする。
第二に、重パラメータチューニング以上のエビデンス利用について検討し、クロスサンプルまたはカレントサンプルのエビデンスと軽量なプロトタイプ更新によって、競争力と効率的なパフォーマンスが達成可能であることを示す。
最後に、TTAには銀の弾丸はなく、単一の適応パラダイムが普遍的に最適であり、望ましいパラダイムはシフトの性質に依存しないことを示す。
我々は、我々のベンチマークと研究が、現在のTTA4CLIPの展望をより明確に理解し、さらなる研究の基盤を確立することを願っている。
関連論文リスト
- Prototype-Based Test-Time Adaptation of Vision-Language Models [58.28899599773308]
PTA(Prototype-based Test-Time Adaptation)
PTAは一連のクラス固有の知識プロトタイプを使用して、テストサンプルから知識を蓄積する。
PTAは最先端の性能を達成しつつ、極めて高い効率を達成する。
論文 参考訳(メタデータ) (2026-04-23T07:20:56Z) - BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
本稿では,テスト時間適応フレームワークを提案する。
我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。
理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
論文 参考訳(メタデータ) (2024-10-20T15:58:43Z) - Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。
完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
論文 参考訳(メタデータ) (2024-04-07T22:31:34Z) - Few Clicks Suffice: Active Test-Time Adaptation for Semantic
Segmentation [14.112999441288615]
テスト時間適応(TTA)は、未ラベルのテストデータを使用した推論中に事前訓練されたモデルに適応する。
TTAアプローチと教師付きアプローチの間には,依然として大きなパフォーマンスギャップがあります。
本稿では,モデルアダプタとラベルアノテータの2つの部分からなるATASegフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-04T12:16:02Z) - AR-TTA: A Simple Method for Real-World Continual Test-Time Adaptation [1.4530711901349282]
本稿では,自律運転のためのデータセット,すなわちCLAD-CとShiFTを用いたテスト時間適応手法の検証を提案する。
現在のテスト時間適応手法は、ドメインシフトの様々な程度を効果的に扱うのに苦労している。
モデル安定性を高めるために、小さなメモリバッファを組み込むことで、確立された自己学習フレームワークを強化する。
論文 参考訳(メタデータ) (2023-09-18T19:34:23Z) - Realistic Unsupervised CLIP Fine-tuning with Universal Entropy Optimization [101.08992036691673]
本稿では,未知のクラスにおける配布外サンプルの存在を考慮し,教師なしの微調整シナリオについて考察する。
特に,分布外検出と既知のクラスに関連するインスタンスの認識を同時に強化することに注力する。
我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-24T16:47:17Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - Not All Features Matter: Enhancing Few-shot CLIP with Adaptive Prior
Refinement [24.108008515395458]
本稿では,CLIP の事前学習知識に対する適応的事前 rEfinement 手法である APE を提案する。
11以上のベンチマークの平均精度では、APEとAPE-Tはいずれも最先端に達し、x30より学習可能なパラメータの少ない16ショットで、それぞれ1.59%、+1.99%で2番目のベットを上回っている。
論文 参考訳(メタデータ) (2023-04-03T17:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。