論文の概要: Improving Entropy-Based Test-Time Adaptation from a Clustering View
- arxiv url: http://arxiv.org/abs/2310.20327v3
- Date: Tue, 7 Nov 2023 04:03:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 12:33:47.836124
- Title: Improving Entropy-Based Test-Time Adaptation from a Clustering View
- Title（参考訳）: クラスタリングによるエントロピーベースのテスト時間適応性の改善
- Authors: Guoliang Lin, Hanjiang Lai, Yan Pan, Jian Yin
- Abstract要約: 本稿では,クラスタリングの観点からこれらの手法を解釈するEntropy-based TTAについて紹介する。
この解釈に基づいて,エントロピー損失が最大確率をさらに増大させることを示す。
上記の問題を緩和するために,ロバストなラベル割り当て,重み調整,勾配蓄積を提案する。
- 参考スコア（独自算出の注目度）: 16.55816127931124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain shift is a common problem in the realistic world, where training data
and test data follow different data distributions. To deal with this problem,
fully test-time adaptation (TTA) leverages the unlabeled data encountered
during test time to adapt the model. In particular, Entropy-Based TTA (EBTTA)
methods, which minimize the prediction's entropy on test samples, have shown
great success. In this paper, we introduce a new perspective on the EBTTA,
which interprets these methods from a view of clustering. It is an iterative
algorithm: 1) in the assignment step, the forward process of the EBTTA models
is the assignment of labels for these test samples, and 2) in the updating
step, the backward process is the update of the model via the assigned samples.
Based on the interpretation, we can gain a deeper understanding of EBTTA, where
we show that the entropy loss would further increase the largest probability.
Accordingly, we offer an alternative explanation for why existing EBTTA methods
are sensitive to initial assignments, outliers, and batch size. This
observation can guide us to put forward the improvement of EBTTA. We propose
robust label assignment, weight adjustment, and gradient accumulation to
alleviate the above problems. Experimental results demonstrate that our method
can achieve consistent improvements on various datasets. Code is provided in
the supplementary material.
- Abstract（参考訳）: ドメインシフトは現実的な世界で共通の問題であり、トレーニングデータとテストデータは異なるデータ分布に従う。
この問題に対処するために、完全なテスト時間適応(TTA)は、テスト時間中に遭遇したラベルのないデータを利用してモデルを適応する。
特に,テストサンプルにおける予測のエントロピーを最小化するエントロピーベースTTA(EBTTA)法は,大きな成功を収めている。
本稿では,クラスタリングの観点からこれらの手法を解釈するEBTTAの新しい視点を紹介する。
これは反復アルゴリズムである。
1) 課題段階では、EBTTAモデルの前方プロセスは、これらの試験サンプルのラベルの割り当てであり、
2) 更新ステップでは、下位プロセスは割り当てられたサンプルを通してモデルの更新である。
この解釈に基づいて、ETTTAの深い理解を得ることができ、エントロピー損失が最大確率をさらに増大させることを示す。
そこで本研究では,既存のETBTTAメソッドが初期割り当てやアウトレーヤ,バッチサイズに敏感である理由について,別の説明を行う。
この観察は、ETTTAの改善を推し進めるために役立ちます。
上記の問題を緩和するために,ロバストなラベル割り当て,重量調整,勾配蓄積を提案する。
実験の結果,本手法は様々なデータセットに対して一貫した改善が得られた。
コードは補足材料で提供される。
関連論文リスト
- DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。
単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。
Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
論文 参考訳（メタデータ） (2024-09-28T15:03:28Z) - Diverse Data Augmentation with Diffusions for Effective Test-time Prompt
Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。
DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文 参考訳（メタデータ） (2023-08-11T09:36:31Z) - Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。
提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文 参考訳（メタデータ） (2023-04-25T12:29:22Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-03-27T16:32:21Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳（メタデータ） (2022-09-23T07:47:33Z) - Improved Text Classification via Test-Time Augmentation [2.493374942115722]
テスト時間拡張は画像分類モデルの性能を向上させるための確立された手法である。
本稿では,言語モデルによる精度向上を実現するための拡張ポリシーを提案する。
バイナリ分類タスクとデータセットによる実験は、テスト時間拡張が一貫した改善をもたらすことを示している。
論文 参考訳（メタデータ） (2022-06-27T19:57:27Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。