論文の概要: Test-Time Adaptation via Self-Training with Nearest Neighbor Information
- arxiv url: http://arxiv.org/abs/2207.10792v1
- Date: Fri, 8 Jul 2022 05:02:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-31 14:39:09.101898
- Title: Test-Time Adaptation via Self-Training with Nearest Neighbor Information
- Title(参考訳): 近傍情報を用いた自己学習によるテスト時間適応
- Authors: Minguk Jang, Sae-Young Chung
- Abstract要約: オンラインテストデータのみを使用してトレーニング済みの分類器を適用することが重要である。
テスト時間適応の一般的なアプローチの1つは、自己学習である。
本稿では,近隣情報を用いた自己学習によるテスト時間適応手法を提案する。
- 参考スコア(独自算出の注目度): 16.346069386394703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adapting trained classifiers using only online test data is important since
it is difficult to access training data or future test data during test time.
One of the popular approaches for test-time adaptation is self-training, which
fine-tunes the trained classifiers using the classifier predictions of the test
data as pseudo labels. However, under the test-time domain shift, self-training
methods have a limitation that learning with inaccurate pseudo labels greatly
degrades the performance of the adapted classifiers. To overcome this
limitation, we propose a novel test-time adaptation method Test-time Adaptation
via Self-Training with nearest neighbor information (TAST). Based on the idea
that a test data and its nearest neighbors in the embedding space of the
trained classifier are more likely to have the same label, we adapt the trained
classifier with the following two steps: (1) generate the pseudo label for the
test data using its nearest neighbors from a set composed of previous test
data, and (2) fine-tune the trained classifier with the pseudo label. Our
experiments on two standard benchmarks, i.e., domain generalization and image
corruption benchmarks, show that TAST outperforms the current state-of-the-art
test-time adaptation methods.
- Abstract(参考訳): オンラインテストデータのみを使用してトレーニングされた分類器を適用することは、テスト期間中にトレーニングデータや将来のテストデータにアクセスすることが難しいため重要である。
テスト時間適応の一般的なアプローチの1つは自己学習であり、テストデータの分類器予測を擬似ラベルとして、訓練された分類器を微調整する。
しかし、テスト時間領域シフトでは、不正確な擬似ラベルを用いた学習が適応型分類器の性能を大幅に低下させるという制限がある。
そこで本研究では,最近傍情報(tast)を用いた自己学習によるテスト時間適応手法を提案する。
トレーニングされた分類器の埋め込み空間におけるテストデータとその近傍の隣人は、同じラベルを持つ可能性が高いという考え方に基づいて、トレーニングされた分類器を、(1)先行したテストデータからなる集合から、その隣人を用いてテストデータの擬似ラベルを生成し、(2)訓練された分類器を擬似ラベルで微調整する。
ドメイン一般化と画像汚濁ベンチマークの2つの標準ベンチマーク実験により、TASTが現在の最先端テスト時間適応法より優れていることが示された。
関連論文リスト
- A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - Feature Alignment and Uniformity for Test Time Adaptation [8.209137567840811]
テスト時間適応は、分散テストドメインサンプルの受信時にディープニューラルネットワークを適用することを目的としている。
この設定では、モデルはトレーニングドメイン上のオンラインのラベルなしテストサンプルと事前トレーニングされたモデルにのみアクセスすることができる。
論文 参考訳(メタデータ) (2023-03-20T06:44:49Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳(メタデータ) (2022-09-23T07:47:33Z) - Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language
Models [107.05966685291067]
テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。
TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。
クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
論文 参考訳(メタデータ) (2022-09-15T17:55:11Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - Label, Verify, Correct: A Simple Few Shot Object Detection Method [93.84801062680786]
トレーニングセットから高品質な擬似アノテーションを抽出するための簡単な擬似ラベリング手法を提案する。
擬似ラベリングプロセスの精度を向上させるための2つの新しい手法を提案する。
提案手法は,既存手法と比較して,最先端ないし第2の性能を実現する。
論文 参考訳(メタデータ) (2021-12-10T18:59:06Z) - Robustness to Spurious Correlations in Text Classification via
Automatically Generated Counterfactuals [8.827892752465958]
自動生成された反実データを用いてトレーニングデータを増強し、堅牢なテキスト分類器のトレーニングを提案する。
因果的特徴を強調し,非因果的特徴を強調することで,ロバスト分類器は有意義で信頼性の高い予測を行うことを示す。
論文 参考訳(メタデータ) (2020-12-18T03:57:32Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳(メタデータ) (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。