論文の概要: DOTA: Distributional Test-Time Adaptation of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2409.19375v3
• Date: Fri, 26 Sep 2025 03:17:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 12:12:20.277537
• Title: DOTA: Distributional Test-Time Adaptation of Vision-Language Models
• Title（参考訳）: DOTA:視覚言語モデルの分布テスト時間適応
• Authors: Zongbo Han, Jialong Yang, Guangyu Wang, Junfan Li, Qianli Xu, Mike Zheng Shou, Changqing Zhang,
• Abstract要約: トレーニングデータとテストデータの間に大きな分散ギャップが存在する場合、視覚言語の基礎モデルは信頼できない。 本稿では,DOTA(DistributiOnal Test-time Adaptation)を提案する。 この分散中心のアプローチは、モデルが継続的に学習し、デプロイメント環境に適応することを可能にする。
• 参考スコア（独自算出の注目度）: 69.41389326333771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language foundation models (VLMs), such as CLIP, exhibit remarkable performance across a wide range of tasks. However, deploying these models can be unreliable when significant distribution gaps exist between training and test data, while fine-tuning for diverse scenarios is often costly. Cache-based test-time adapters offer an efficient alternative by storing representative test samples to guide subsequent classifications. Yet, these methods typically employ naive cache management with limited capacity, leading to severe catastrophic forgetting when samples are inevitably dropped during updates. In this paper, we propose DOTA (DistributiOnal Test-time Adaptation), a simple yet effective method addressing this limitation. Crucially, instead of merely memorizing individual test samples, DOTA continuously estimates the underlying distribution of the test data stream. Test-time posterior probabilities are then computed using these dynamically estimated distributions via Bayes' theorem for adaptation. This distribution-centric approach enables the model to continually learn and adapt to the deployment environment. Extensive experiments validate that DOTA significantly mitigates forgetting and achieves state-of-the-art performance compared to existing methods.
• Abstract（参考訳）: CLIPのような視覚言語基盤モデル(VLM)は、幅広いタスクで顕著なパフォーマンスを示す。 しかしながら、トレーニングデータとテストデータの間に大きな分散ギャップが存在する場合、これらのモデルのデプロイは信頼性に欠ける可能性がある。 キャッシュベースのテストタイムアダプタは、一般的なテストサンプルを格納して、その後の分類をガイドすることで、効率的な代替手段を提供する。 しかし、これらの手法は典型的には、限られたキャパシティを持つ単純なキャッシュ管理を採用しており、更新中にサンプルが必然的にドロップされると、破滅的な忘れがちになる。 本稿では,DOTA(DistributiOnal Test-time Adaptation)を提案する。 重要なことは、個々のテストサンプルを記憶する代わりに、DOTAはテストデータストリームの基盤となる分布を継続的に見積もる。 テスト時間後続確率はベイズの定理を用いてこれらの動的推定分布を用いて計算される。 この分散中心のアプローチは、モデルが継続的に学習し、デプロイメント環境に適応することを可能にする。 大規模な実験により、DOTAは既存の手法と比較して、忘れを著しく軽減し、最先端のパフォーマンスを達成することが検証された。

関連論文リスト

• Temporal Test-Time Adaptation with State-Space Models [4.248760709042802]
  テストサンプルにモデルを適用することは、パフォーマンスの低下を軽減するのに役立ちます。 ほとんどの試験時間適応法は、合成汚職シフトに重点を置いている。 本稿では,時相分布シフトに対応する確率的状態空間モデルSTADを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:18:49Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Generalized Robust Test-Time Adaptation in Continuous Dynamic Scenarios [18.527640606971563]
  テスト時間適応(TTA)は、未ラベルのテストデータストリームのみを使用する推論フェーズにおいて、事前訓練されたモデルに分散をテストする。 本稿では,問題に効果的に対応する汎用ロバストテスト時間適応(GRoTTA)法を提案する。
  論文  参考訳（メタデータ） (2023-10-07T07:13:49Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。