論文の概要: Improving Entropy-Based Test-Time Adaptation from a Clustering View
- arxiv url: http://arxiv.org/abs/2310.20327v6
- Date: Fri, 26 Apr 2024 03:11:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 17:58:08.540590
- Title: Improving Entropy-Based Test-Time Adaptation from a Clustering View
- Title（参考訳）: クラスタリングの観点からのエントロピーに基づくテスト時間適応の改善
- Authors: Guoliang Lin, Hanjiang Lai, Yan Pan, Jian Yin,
- Abstract要約: エントロピーベースのTTAについて,新たなクラスタリングの視点を導入する。
本稿では,ロバストなラベル割り当て,類似性保存制約,サンプル選択,勾配蓄積などを提案する。
実験結果から,本手法は様々なデータセットに対して一貫した改善が可能であることが示された。
- 参考スコア（独自算出の注目度）: 15.157208389691238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain shift is a common problem in the realistic world, where training data and test data follow different data distributions. To deal with this problem, fully test-time adaptation (TTA) leverages the unlabeled data encountered during test time to adapt the model. In particular, entropy-based TTA (EBTTA) methods, which minimize the prediction's entropy on test samples, have shown great success. In this paper, we introduce a new clustering perspective on the EBTTA. It is an iterative algorithm: 1) in the assignment step, the forward process of the EBTTA models is the assignment of labels for these test samples, and 2) in the updating step, the backward process is the update of the model via the assigned samples. This new perspective allows us to explore how entropy minimization influences test-time adaptation. Accordingly, this observation can guide us to put forward the improvement of EBTTA. We propose to improve EBTTA from the assignment step and the updating step, where robust label assignment, similarity-preserving constraint, sample selection, and gradient accumulation are proposed to explicitly utilize more information. Experimental results demonstrate that our method can achieve consistent improvements on various datasets. Code is provided in the supplementary material.
- Abstract（参考訳）: ドメインシフトは、トレーニングデータとテストデータが異なるデータ分布に従う現実的な世界で一般的な問題である。
この問題に対処するために、完全なテスト時間適応(TTA)は、テスト時間中に遭遇したラベルのないデータを活用してモデルを適応させる。
特に,テストサンプルにおける予測のエントロピーを最小化するエントロピーベースのTTA(EBTTA)法は,大きな成功を収めている。
本稿では,EBTTAにおけるクラスタリングの視点について紹介する。
これは反復アルゴリズムである。
1) 課題段階では、EBTTAモデルの前方プロセスは、これらの試験サンプルのラベルの割り当てであり、
2) 更新ステップでは、下位プロセスは、割り当てられたサンプルを通してモデルの更新です。
この新たな視点は、エントロピーの最小化がテスト時間適応にどのように影響するかを探索することを可能にする。
したがって、この観察により、ETTTAの改善を推し進めることができる。
そこでは, ラベル割り当て, 類似性保存制約, サンプル選択, 勾配の蓄積を明示的に活用するために提案する。
実験結果から,本手法は様々なデータセットに対して一貫した改善が可能であることが示された。
コードは補足材料で提供される。
関連論文リスト
- DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。
単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。
Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
論文 参考訳（メタデータ） (2024-09-28T15:03:28Z) - Diverse Data Augmentation with Diffusions for Effective Test-time Prompt
Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。
DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文 参考訳（メタデータ） (2023-08-11T09:36:31Z) - Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。
提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文 参考訳（メタデータ） (2023-04-25T12:29:22Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-03-27T16:32:21Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳（メタデータ） (2022-09-23T07:47:33Z) - Improved Text Classification via Test-Time Augmentation [2.493374942115722]
テスト時間拡張は画像分類モデルの性能を向上させるための確立された手法である。
本稿では,言語モデルによる精度向上を実現するための拡張ポリシーを提案する。
バイナリ分類タスクとデータセットによる実験は、テスト時間拡張が一貫した改善をもたらすことを示している。
論文 参考訳（メタデータ） (2022-06-27T19:57:27Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。