論文の概要: AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2304.12566v2
- Date: Wed, 10 May 2023 01:12:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 16:21:19.343941
- Title: AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation
- Title(参考訳): AdaNPC:テスト時間適応のための非パラメトリック分類器の探索
- Authors: Yi-Fan Zhang, Xue Wang, Kexin Jin, Kun Yuan, Zhang Zhang, Liang Wang,
Rong Jin, Tieniu Tan
- Abstract要約: ドメインの一般化は、ターゲットのドメイン情報を活用することなく、任意に困難にすることができる。
この問題に対処するためにテスト時適応(TTA)手法が提案されている。
本研究では,テスト時間適応(AdaNPC)を行うためにNon-Parametricを採用する。
- 参考スコア(独自算出の注目度): 64.9230895853942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many recent machine learning tasks focus to develop models that can
generalize to unseen distributions. Domain generalization (DG) has become one
of the key topics in various fields. Several literatures show that DG can be
arbitrarily hard without exploiting target domain information. To address this
issue, test-time adaptive (TTA) methods are proposed. Existing TTA methods
require offline target data or extra sophisticated optimization procedures
during the inference stage. In this work, we adopt Non-Parametric Classifier to
perform the test-time Adaptation (AdaNPC). In particular, we construct a memory
that contains the feature and label pairs from training domains. During
inference, given a test instance, AdaNPC first recalls K closed samples from
the memory to vote for the prediction, and then the test feature and predicted
label are added to the memory. In this way, the sample distribution in the
memory can be gradually changed from the training distribution towards the test
distribution with very little extra computation cost. We theoretically justify
the rationality behind the proposed method. Besides, we test our model on
extensive numerical experiments. AdaNPC significantly outperforms competitive
baselines on various DG benchmarks. In particular, when the adaptation target
is a series of domains, the adaptation accuracy of AdaNPC is 50% higher than
advanced TTA methods. The code is available at
https://github.com/yfzhang114/AdaNPC.
- Abstract(参考訳): 最近の機械学習タスクの多くは、未認識分布に一般化できるモデルの開発に重点を置いている。
ドメイン一般化(DG)は、様々な分野において重要なトピックの一つとなっている。
いくつかの文献では、DGはターゲットのドメイン情報を利用せずに任意に困難であることを示している。
この問題に対処するため,テスト時適応(TTA)手法を提案する。
既存のTTA手法では、推論段階でオフラインのターゲットデータや高度な最適化手順が必要となる。
本研究では,テスト時間適応(AdaNPC)を実行するために非パラメトリック分類を用いる。
特に、トレーニングドメインの特徴とラベルペアを含むメモリを構築します。
推論中、テストインスタンスが与えられた場合、AdaNPCはまずメモリからK個のクローズドサンプルをリコールして予測を投票し、次にテスト機能と予測ラベルをメモリに追加する。
このように、メモリ内のサンプル分布は、トレーニング分布からテスト分布へと徐々に変化し、余分な計算コストが少なくなる。
提案手法の背後にある合理性を理論的に正当化する。
さらに,広範な数値実験でモデルをテストする。
AdaNPCは様々なDGベンチマークの競争ベースラインを大幅に上回っている。
特に、適応ターゲットが一連のドメインである場合、AdaNPCの適応精度は高度なTTA法よりも50%高い。
コードはhttps://github.com/yfzhang114/AdaNPCで入手できる。
関連論文リスト
- Channel-Selective Normalization for Label-Shift Robust Test-Time
Adaptation [17.375390435493017]
テスト時間適応は、推論中にモデルを新しいデータ分布に調整するアプローチである。
テスト時のバッチ正規化は、ドメインシフトベンチマークで魅力的なパフォーマンスを達成した、シンプルで一般的な方法である。
本稿では、ディープネットワークにおけるチャネルのみを選択的に適応させ、ラベルシフトに敏感な劇的な適応を最小化することで、この問題に対処することを提案する。
論文 参考訳(メタデータ) (2024-02-07T15:41:01Z) - Explaining Cross-Domain Recognition with Interpretable Deep Classifier [100.63114424262234]
解釈可能なDeep(IDC)は、ターゲットサンプルの最も近いソースサンプルを、分類器が決定を下す証拠として学習する。
我々のIDCは、精度の劣化がほとんどなく、最適なリジェクションオプションの分類を効果的に調整する、より説明可能なモデルに導かれる。
論文 参考訳(メタデータ) (2022-11-15T15:58:56Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - SITA: Single Image Test-time Adaptation [48.789568233682296]
テスト時間適応(TTA)では、あるソースデータに基づいてトレーニングされたモデルを考えると、異なるディストリビューションからテストインスタンスに対してより良い予測を行うように適応することが目標である。
我々は、TTAをSITA(Single Image Test-time Adaptation)と呼ぶより実践的な環境で考える。
ここでは、各予測を行う場合、モデルはインスタンスのバッチではなく、与えられた単一のテストインスタンスにのみアクセスすることができる。
本稿では,前進保存伝播のみを必要とするSITA設定のための新しいアプローチAugBNを提案する。
論文 参考訳(メタデータ) (2021-12-04T15:01:35Z) - Domain Adaptation without Source Data [20.64875162351594]
センシティブな情報を含む可能性のあるソースデータへのアクセスを避けるために、ソースデータフリードメイン適応(SFDA)を導入します。
私たちのキーとなるアイデアは、ソースドメインから事前トレーニングされたモデルを活用し、ターゲットモデルを段階的に自己学習的に更新することです。
我々のPrDAは、ベンチマークデータセットにおける従来のドメイン適応手法よりも優れています。
論文 参考訳(メタデータ) (2020-07-03T07:21:30Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳(メタデータ) (2020-04-29T10:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。