論文の概要: REALM: Robust Entropy Adaptive Loss Minimization for Improved
Single-Sample Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2309.03964v1
- Date: Thu, 7 Sep 2023 18:44:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 16:55:20.464226
- Title: REALM: Robust Entropy Adaptive Loss Minimization for Improved
Single-Sample Test-Time Adaptation
- Title(参考訳): REALM: 単サンプルテスト時間適応の改善のためのロバストエントロピー適応損失最小化
- Authors: Skyler Seto, Barry-John Theobald, Federico Danieli, Navdeep Jaitly,
Dan Busbridge
- Abstract要約: フルテスト時間適応(F-TTA)は、列車とテストデータの分散シフトによる性能損失を軽減することができる。
本稿では,F-TTAの雑音に対する堅牢性向上のための一般的な枠組みについて述べる。
- 参考スコア(独自算出の注目度): 5.749155230209001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fully-test-time adaptation (F-TTA) can mitigate performance loss due to
distribution shifts between train and test data (1) without access to the
training data, and (2) without knowledge of the model training procedure. In
online F-TTA, a pre-trained model is adapted using a stream of test samples by
minimizing a self-supervised objective, such as entropy minimization. However,
models adapted with online using entropy minimization, are unstable especially
in single sample settings, leading to degenerate solutions, and limiting the
adoption of TTA inference strategies. Prior works identify noisy, or
unreliable, samples as a cause of failure in online F-TTA. One solution is to
ignore these samples, which can lead to bias in the update procedure, slow
adaptation, and poor generalization. In this work, we present a general
framework for improving robustness of F-TTA to these noisy samples, inspired by
self-paced learning and robust loss functions. Our proposed approach, Robust
Entropy Adaptive Loss Minimization (REALM), achieves better adaptation accuracy
than previous approaches throughout the adaptation process on corruptions of
CIFAR-10 and ImageNet-1K, demonstrating its effectiveness.
- Abstract(参考訳): フルテスト時間適応(F-TTA)は,トレーニングデータにアクセスせずに,(2)モデルトレーニング手順の知識のない,列車とテストデータの分散シフトによる性能損失を軽減することができる。
オンラインF-TTAでは、エントロピーの最小化などの自己監督対象を最小化することにより、事前訓練されたモデルがテストサンプルのストリームを使用して適応される。
しかし、エントロピー最小化を用いてオンラインに適応したモデルは、特に単一サンプル設定では不安定であり、解を退化させ、TTA推論戦略の採用を制限する。
先行研究は、オンラインf-ttaの失敗の原因として、ノイズや信頼性の低いサンプルを特定した。
ひとつの解決策は、これらのサンプルを無視することであり、更新手順のバイアス、適応の遅さ、一般化不足につながる可能性がある。
本稿では,これらの雑音試料に対するf-ttaのロバスト性を改善するための汎用フレームワークを提案する。
提案手法であるRobust Entropy Adaptive Loss Minimization (REALM) は,CIFAR-10とImageNet-1Kの劣化に対する適応過程を通じて,従来の手法よりも適応精度を向上し,その効果を実証する。
関連論文リスト
- Towards Open-Set Test-Time Adaptation Utilizing the Wisdom of Crowds in
Entropy Minimization [47.61333493671805]
テスト時間適応(TTA)メソッドは、未ラベルのターゲットドメインにソース事前学習モデルを適用するために、モデルの予測に依存する。
本稿では, 以下の重要な経験的発見から着想を得た, 単純かつ効果的なサンプル選択法を提案する。
論文 参考訳(メタデータ) (2023-08-14T01:24:18Z) - RDumb: A simple approach that questions our progress in continual
test-time adaptation [11.538463383075694]
テスト時間適応(TTA)では、事前トレーニングされたモデルをデプロイ時にデータ配布を変更するように更新することができる。
近年の長期にわたる連続的適応手法の提案と適用方法が提案されている。
最終的には、最先端の1つのメソッド以外はすべて崩壊し、非適応モデルよりもパフォーマンスが悪くなることに気付きました。
論文 参考訳(メタデータ) (2023-06-08T17:52:34Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳(メタデータ) (2023-01-30T15:54:00Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳(メタデータ) (2022-03-27T06:38:39Z) - Simple Adaptive Projection with Pretrained Features for Anomaly
Detection [0.0]
本稿では,単純な線形変換と自己注意を含む新しい適応フレームワークを提案する。
事前訓練した特徴を持つ簡易適応投影法(SAP2)により,新しい異常検出基準が得られた。
論文 参考訳(メタデータ) (2021-12-05T15:29:59Z) - Tent: Fully Test-time Adaptation by Entropy Minimization [77.85911673550851]
モデルは、テスト中に新しいデータや異なるデータに一般化するように適応する必要があります。
この完全なテスト時間適応の設定では、モデルはテストデータとそれ自身のパラメータしか持たない。
実験エントロピー最小化(tent): 予測のエントロピーによって測定された信頼度に対するモデルを最適化する。
論文 参考訳(メタデータ) (2020-06-18T17:55:28Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。