論文の概要: DOTA: Distributional Test-Time Adaptation of Vision-Language Models
- arxiv url: http://arxiv.org/abs/2409.19375v1
- Date: Sat, 28 Sep 2024 15:03:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 23:48:39.587333
- Title: DOTA: Distributional Test-Time Adaptation of Vision-Language Models
- Title（参考訳）: DOTA:視覚言語モデルの分布テスト時間適応
- Authors: Zongbo Han, Jialong Yang, Junfan Li, Qinghua Hu, Qianli Xu, Mike Zheng Shou, Changqing Zhang,
- Abstract要約: トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。
単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。
Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
- 参考スコア（独自算出の注目度）: 52.98590762456236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language foundation models (e.g., CLIP) have shown remarkable performance across a wide range of tasks. However, deploying these models may be unreliable when significant distribution gaps exist between the training and test data. The training-free test-time dynamic adapter (TDA) is a promising approach to address this issue by storing representative test samples to guide the classification of subsequent ones. However, TDA only naively maintains a limited number of reference samples in the cache, leading to severe test-time catastrophic forgetting when the cache is updated by dropping samples. In this paper, we propose a simple yet effective method for DistributiOnal Test-time Adaptation (Dota). Instead of naively memorizing representative test samples, Dota continually estimates the distributions of test samples, allowing the model to continually adapt to the deployment environment. The test-time posterior probabilities are then computed using the estimated distributions based on Bayes' theorem for adaptation purposes. To further enhance the adaptability on the uncertain samples, we introduce a new human-in-the-loop paradigm which identifies uncertain samples, collects human-feedback, and incorporates it into the Dota framework. Extensive experiments validate that Dota enables CLIP to continually learn, resulting in a significant improvement compared to current state-of-the-art methods.
- Abstract（参考訳）: ビジョン言語基盤モデル(例えばCLIP)は、幅広いタスクで顕著なパフォーマンスを示している。
しかし、トレーニングデータとテストデータの間に大きな分散ギャップがある場合、これらのモデルをデプロイすることは信頼できないかもしれない。
トレーニングフリーなテスト時動的アダプタ(TDA)は、代表的なテストサンプルを格納して、その後のテストの分類をガイドすることで、この問題に対処する有望なアプローチである。
しかし、TDAはキャッシュ内で限られた数の参照サンプルしか管理しないため、サンプルをドロップすることでキャッシュが更新された時に深刻なテスト時間が壊滅的に忘れてしまう。
本稿では,Dota(DistributiOnal Test-time Adaptation)の簡易かつ効果的な手法を提案する。
代表的なテストサンプルを鼻で覚える代わりに、Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
テスト時間後確率は、適応目的のベイズの定理に基づく推定分布を用いて計算される。
そこで本研究では,不確実なサンプルに対する適応性を更に高めるために,不確実なサンプルを識別し,フィードバックを収集し,Dotaフレームワークに組み込む新たなHuman-in-the-loopパラダイムを提案する。
大規模な実験は、DotaがCLIPを継続的に学習できることを示す。
関連論文リスト
- Temporal Test-Time Adaptation with State-Space Models [4.248760709042802]
テストサンプルにモデルを適用することは、パフォーマンスの低下を軽減するのに役立ちます。
ほとんどの試験時間適応法は、合成汚職シフトに重点を置いている。
本稿では,時相分布シフトに対応する確率的状態空間モデルSTADを提案する。
論文 参考訳（メタデータ） (2024-07-17T11:18:49Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳（メタデータ） (2024-04-02T05:34:33Z) - Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。
本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文 参考訳（メタデータ） (2024-03-18T05:49:45Z) - Diversity-aware Buffer for Coping with Temporally Correlated Data
Streams in Online Test-time Adaptation [3.1265626879839923]
テストデータストリームは必ずしも独立であり、同じ分散(すなわちd)であるとは限らない。
非i.d.シナリオであっても、i.d.データストリームをシミュレートできるダイバーシティ対応およびカテゴリバランスバッファを提案する。
我々は、最も検討されたベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2024-01-02T01:56:25Z) - Generalized Robust Test-Time Adaptation in Continuous Dynamic Scenarios [18.527640606971563]
テスト時間適応(TTA)は、未ラベルのテストデータストリームのみを使用する推論フェーズにおいて、事前訓練されたモデルに分散をテストする。
本稿では,問題に効果的に対応する汎用ロバストテスト時間適応(GRoTTA)法を提案する。
論文 参考訳（メタデータ） (2023-10-07T07:13:49Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-03-27T16:32:21Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-05-18T05:43:06Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - Parameter-free Online Test-time Adaptation [19.279048049267388]
実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。
我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。
提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
論文 参考訳（メタデータ） (2022-01-15T00:29:16Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳（メタデータ） (2021-09-27T01:09:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。