論文の概要: Test-Time Adaptation via Self-Training with Nearest Neighbor Information

• arxiv url: http://arxiv.org/abs/2207.10792v1
• Date: Fri, 8 Jul 2022 05:02:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-31 14:39:09.101898
• Title: Test-Time Adaptation via Self-Training with Nearest Neighbor Information
• Title（参考訳）: 近傍情報を用いた自己学習によるテスト時間適応
• Authors: Minguk Jang, Sae-Young Chung
• Abstract要約: オンラインテストデータのみを使用してトレーニング済みの分類器を適用することが重要である。 テスト時間適応の一般的なアプローチの1つは、自己学習である。 本稿では,近隣情報を用いた自己学習によるテスト時間適応手法を提案する。
• 参考スコア（独自算出の注目度）: 16.346069386394703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting trained classifiers using only online test data is important since it is difficult to access training data or future test data during test time. One of the popular approaches for test-time adaptation is self-training, which fine-tunes the trained classifiers using the classifier predictions of the test data as pseudo labels. However, under the test-time domain shift, self-training methods have a limitation that learning with inaccurate pseudo labels greatly degrades the performance of the adapted classifiers. To overcome this limitation, we propose a novel test-time adaptation method Test-time Adaptation via Self-Training with nearest neighbor information (TAST). Based on the idea that a test data and its nearest neighbors in the embedding space of the trained classifier are more likely to have the same label, we adapt the trained classifier with the following two steps: (1) generate the pseudo label for the test data using its nearest neighbors from a set composed of previous test data, and (2) fine-tune the trained classifier with the pseudo label. Our experiments on two standard benchmarks, i.e., domain generalization and image corruption benchmarks, show that TAST outperforms the current state-of-the-art test-time adaptation methods.
• Abstract（参考訳）: オンラインテストデータのみを使用してトレーニングされた分類器を適用することは、テスト期間中にトレーニングデータや将来のテストデータにアクセスすることが難しいため重要である。 テスト時間適応の一般的なアプローチの1つは自己学習であり、テストデータの分類器予測を擬似ラベルとして、訓練された分類器を微調整する。 しかし、テスト時間領域シフトでは、不正確な擬似ラベルを用いた学習が適応型分類器の性能を大幅に低下させるという制限がある。 そこで本研究では,最近傍情報(tast)を用いた自己学習によるテスト時間適応手法を提案する。 トレーニングされた分類器の埋め込み空間におけるテストデータとその近傍の隣人は、同じラベルを持つ可能性が高いという考え方に基づいて、トレーニングされた分類器を、(1)先行したテストデータからなる集合から、その隣人を用いてテストデータの擬似ラベルを生成し、(2)訓練された分類器を擬似ラベルで微調整する。 ドメイン一般化と画像汚濁ベンチマークの2つの標準ベンチマーク実験により、TASTが現在の最先端テスト時間適応法より優れていることが示された。

関連論文リスト

• Evaluating the fairness of task-adaptive pretraining on unlabeled test data before few-shot text classification [0.0]
  現代のNLP技術を評価するには、少ないショットの学習ベンチマークが重要である。 しかし、ベンチマークでは、ラベルのないテキストを簡単に利用できる方法が好まれる可能性がある。 ラベルなしテストセットテキストの事前学習によるバイアスを定量化する実験を行った。
  論文  参考訳（メタデータ） (2024-09-30T19:32:10Z)
• STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。 本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。 本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:25:41Z)
• Efficient Test-Time Adaptation of Vision-Language Models [58.3646257833533]
  事前学習された視覚言語モデルによるテスト時間適応は、テスト時間中に分散シフトに取り組むことに注目が集まっている。 我々は、視覚言語モデルによる効率的なテスト時間適応を可能にするトレーニングフリーな動的アダプタであるTDAを設計する。
  論文  参考訳（メタデータ） (2024-03-27T06:37:51Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• Feature Alignment and Uniformity for Test Time Adaptation [8.209137567840811]
  テスト時間適応は、分散テストドメインサンプルの受信時にディープニューラルネットワークを適用することを目的としている。 この設定では、モデルはトレーニングドメイン上のオンラインのラベルなしテストサンプルと事前トレーニングされたモデルにのみアクセスすることができる。
  論文  参考訳（メタデータ） (2023-03-20T06:44:49Z)
• TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
  Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。 また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T07:47:33Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Robustness to Spurious Correlations in Text Classification via Automatically Generated Counterfactuals [8.827892752465958]
  自動生成された反実データを用いてトレーニングデータを増強し、堅牢なテキスト分類器のトレーニングを提案する。 因果的特徴を強調し,非因果的特徴を強調することで,ロバスト分類器は有意義で信頼性の高い予測を行うことを示す。
  論文  参考訳（メタデータ） (2020-12-18T03:57:32Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。