論文の概要: Revisiting Realistic Test-Time Training: Sequential Inference and
Adaptation by Anchored Clustering Regularized Self-Training
- arxiv url: http://arxiv.org/abs/2303.10856v1
- Date: Mon, 20 Mar 2023 04:30:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 16:49:32.594950
- Title: Revisiting Realistic Test-Time Training: Sequential Inference and
Adaptation by Anchored Clustering Regularized Self-Training
- Title(参考訳): リアルなテストタイムトレーニングを再考する:アンコレッドクラスタリングによる逐次推論と適応
- Authors: Yongyi Su, Xun Xu, Tianrui Li, Kui Jia
- Abstract要約: テスト時アンカークラスタリング(TTAC)アプローチを開発し,より強力なテスト時特徴学習を実現する。
自己学習(ST)はラベルのないデータから学ぶ上で大きな成功を収めた。
TTAC++は、5つのTTデータセットの最先端メソッドを一貫して上回る。
- 参考スコア(独自算出の注目度): 37.75537703971045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deploying models on target domain data subject to distribution shift requires
adaptation. Test-time training (TTT) emerges as a solution to this adaptation
under a realistic scenario where access to full source domain data is not
available, and instant inference on the target domain is required. Despite many
efforts into TTT, there is a confusion over the experimental settings, thus
leading to unfair comparisons. In this work, we first revisit TTT assumptions
and categorize TTT protocols by two key factors. Among the multiple protocols,
we adopt a realistic sequential test-time training (sTTT) protocol, under which
we develop a test-time anchored clustering (TTAC) approach to enable stronger
test-time feature learning. TTAC discovers clusters in both source and target
domains and matches the target clusters to the source ones to improve
adaptation. When source domain information is strictly absent (i.e.
source-free) we further develop an efficient method to infer source domain
distributions for anchored clustering. Finally, self-training~(ST) has
demonstrated great success in learning from unlabeled data and we empirically
figure out that applying ST alone to TTT is prone to confirmation bias.
Therefore, a more effective TTT approach is introduced by regularizing
self-training with anchored clustering, and the improved model is referred to
as TTAC++. We demonstrate that, under all TTT protocols, TTAC++ consistently
outperforms the state-of-the-art methods on five TTT datasets, including
corrupted target domain, selected hard samples, synthetic-to-real adaptation
and adversarially attacked target domain. We hope this work will provide a fair
benchmarking of TTT methods, and future research should be compared within
respective protocols.
- Abstract(参考訳): 分散シフトの対象となる対象ドメインデータにモデルをデプロイするには適応が必要である。
テスト時間トレーニング(ttt)は、完全なソースドメインデータにアクセスできず、ターゲットドメインでの即時推論が必要な現実的なシナリオの下で、この適応に対する解決策として現れる。
tttに対する多くの努力にもかかわらず、実験的な設定には混乱があり、不公平な比較に繋がる。
本研究では,TTTの仮定を再検討し,TTTプロトコルを2つの重要な要素に分類する。
複数のプロトコルの中で、我々は実時間テスト時訓練(sTTT)プロトコルを採用し、テスト時アンカークラスタリング(TTAC)アプローチを開発し、より強力なテスト時特徴学習を実現する。
TTACはソースドメインとターゲットドメインの両方のクラスタを検出し、ターゲットクラスタとソースクラスタをマッチングして適応を改善する。
ソースドメイン情報が厳密に欠落している場合(すなわち、ソースフリーの場合)は、アンカークラスタリングのためにソースドメイン分布を推測する効率的な方法をさらに開発します。
最後に,STはラベルのないデータから学習する上で大きな成功を収めており,STのみをTTTに適用することはバイアスの確認に困難であることを示す。
したがって、アンカークラスタリングによる自己学習を正規化することで、より効果的なTTアプローチを導入し、改良されたモデルをTTAC++と呼ぶ。
すべてのTTTプロトコルにおいて,TTAC++は,破壊対象領域,選択されたハードサンプル,合成から現実への適応,対向攻撃対象領域を含む5つのTTTデータセット上で,最先端の手法を一貫して上回ることを示す。
この研究がTTTメソッドの公正なベンチマークを提供し、将来の研究をそれぞれのプロトコルで比較することを期待しています。
関連論文リスト
- ClusT3: Information Invariant Test-Time Training [19.461441044484427]
これらの脆弱性を軽減するため、TTT(Test-time Training)法が開発されている。
マルチスケール特徴写像と離散潜在表現の相互情報に基づく新しい非教師付きTTT手法を提案する。
実験結果から, 様々なテスト時間適応ベンチマークにおいて, 競争力のある分類性能が示された。
論文 参考訳(メタデータ) (2023-10-18T21:43:37Z) - pSTarC: Pseudo Source Guided Target Clustering for Fully Test-Time
Adaptation [15.621092104244003]
テスト時間適応(TTA)は機械学習において重要な概念であり、モデルが現実世界のシナリオでうまく機能することを可能にする。
そこで本研究では,TTAの比較的未探索領域を実世界のドメインシフト下で解決する手法として,擬似ソースガイドターゲットクラスタリング(pSTarC)を提案する。
論文 参考訳(メタデータ) (2023-09-02T07:13:47Z) - Diverse Data Augmentation with Diffusions for Effective Test-time Prompt
Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。
DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文 参考訳(メタデータ) (2023-08-11T09:36:31Z) - Improved Test-Time Adaptation for Domain Generalization [48.239665441875374]
テストタイムトレーニング(TTT)は、学習したモデルにテストデータを適用する。
この作業は2つの主な要因に対処する: テストフェーズ中にアップデートする信頼性のあるパラメータを更新および識別するための適切な補助的TTTタスクを選択する。
トレーニングされたモデルに適応パラメータを追加し、テストフェーズでのみ適応パラメータを更新することを提案する。
論文 参考訳(メタデータ) (2023-04-10T10:12:38Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳(メタデータ) (2022-09-23T07:47:33Z) - Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language
Models [107.05966685291067]
テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。
TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。
クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
論文 参考訳(メタデータ) (2022-09-15T17:55:11Z) - Revisiting Realistic Test-Time Training: Sequential Inference and
Adaptation by Anchored Clustering [37.76664203157892]
テスト時アンカークラスタリング(TTAC)アプローチを開発し,より強力なテスト時特徴学習を実現する。
TTACはソースドメインとターゲットドメインの両方のクラスタを検出し、ターゲットクラスタとソースクラスタを一致させて、一般化を改善する。
すべてのTTプロトコルにおいて,TTACは5つのTTデータセットの最先端手法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-06-06T16:23:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。