論文の概要: Robust Mean Teacher for Continual and Gradual Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2211.13081v1
- Date: Wed, 23 Nov 2022 16:14:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 15:32:50.374235
- Title: Robust Mean Teacher for Continual and Gradual Test-Time Adaptation
- Title（参考訳）: 連続的および段階的テスト時間適応のためのロバスト平均教師
- Authors: Mario D\"obler, Robert A. Marsden, Bin Yang
- Abstract要約: 経時的テスト時間適応(TTA)は、単一のドメインシフトだけでなく、一連のシフトも考慮している。
我々は,TTAの設定において,平均教師の整合性損失として対称的クロスエントロピーが適していることを示す。
提案手法は, 連続的, 段階的評価ベンチマークにおいて, RMT (Robust mean teacher) の有効性を実証する。
- 参考スコア（独自算出の注目度）: 5.744133015573047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since experiencing domain shifts during test-time is inevitable in practice,
test-time adaption (TTA) continues to adapt the model during deployment.
Recently, the area of continual and gradual test-time adaptation (TTA) emerged.
In contrast to standard TTA, continual TTA considers not only a single domain
shift, but a sequence of shifts. Gradual TTA further exploits the property that
some shifts evolve gradually over time. Since in both settings long test
sequences are present, error accumulation needs to be addressed for methods
relying on self-training. In this work, we propose and show that in the setting
of TTA, the symmetric cross-entropy is better suited as a consistency loss for
mean teachers compared to the commonly used cross-entropy. This is justified by
our analysis with respect to the (symmetric) cross-entropy's gradient
properties. To pull the test feature space closer to the source domain, where
the pre-trained model is well posed, contrastive learning is leveraged. Since
applications differ in their requirements, we address different settings,
namely having source data available and the more challenging source-free
setting. We demonstrate the effectiveness of our proposed method 'robust mean
teacher' (RMT) on the continual and gradual corruption benchmarks CIFAR10C,
CIFAR100C, and Imagenet-C. We further consider ImageNet-R and propose a new
continual DomainNet-126 benchmark. State-of-the-art results are achieved on all
benchmarks.
- Abstract（参考訳）: テスト時のドメインシフトを実際に経験することは避けられないので、TTA(Test-time Adaption)はデプロイ中にモデルを適応し続けます。
近年,TTA (Continuous and gradual test-time adapt) が出現している。
標準的なTTAとは対照的に、連続的なTTAは単一のドメインシフトだけでなく、一連のシフトも考慮している。
経時変化TTAは、時間とともに徐々に変化していく性質をさらに活用する。
どちらの設定にも長いテストシーケンスが存在するため、自己学習に依存するメソッドではエラーの蓄積に対処する必要がある。
本稿では,ttaの設定において,対称クロスエントロピーが一般的なクロスエントロピーと比較して,平均教師の一貫性損失として適していることを示す。
これは(対称)クロスエントロピーの勾配特性に関する解析によって正当化される。
事前学習されたモデルがよく提示されているソース領域にテスト特徴空間を近づけるには、コントラスト学習を利用する。
アプリケーションは要件が異なるため、ソースデータが利用可能であることと、より困難なソースフリー設定に対処します。
提案手法がCIFAR10C, CIFAR100C, Imagenet-Cの連続的, 段階的な汚職ベンチマークに与える影響を実証した。
我々はさらにimagenet-rを検討し、新しいcontinual domainnet-126ベンチマークを提案する。
最先端の結果はすべてのベンチマークで達成される。
関連論文リスト
- Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。
完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
論文 参考訳（メタデータ） (2024-04-07T22:31:34Z) - Layerwise Early Stopping for Test Time Adaptation [0.2968738145616401]
テスト時間適応(TTA)は、事前訓練されたモデルがテスト時に見えないドメインで新機能を学習できるようにすることで、分散シフトの問題に対処する。
新機能の学習と,トレーニング済みの有用な機能の維持のバランスを維持する上で,これは大きな課題となる。
本稿では,TTAのためのレイヤワイズEArly Stopping(LEAST)を提案する。
論文 参考訳（メタデータ） (2024-04-04T19:55:11Z) - Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。
しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。
本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
論文 参考訳（メタデータ） (2023-11-30T02:24:44Z) - Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with
Balanced Normalization [52.03927261909813]
既存の研究は、非I.d.データストリームと連続的なドメインシフトの下での実際のテスト時間適応を主に検討している。
我々は、最先端手法の失敗は、まず不均衡なテストデータに正規化層を無差別に適応させることによって生じると論じる。
TRIBEと呼ばれる最後のTTAモデルは、バランスの取れたバッチノーム層を持つトリネットアーキテクチャ上に構築されている。
論文 参考訳（メタデータ） (2023-09-26T14:06:26Z) - RDumb: A simple approach that questions our progress in continual test-time adaptation [12.374649969346441]
テスト時間適応(TTA)では、事前トレーニングされたモデルをデプロイ時にデータ配布を変更するように更新することができる。
近年の長期にわたる連続的適応手法の提案と適用方法が提案されている。
最終的には、最先端の1つのメソッド以外はすべて崩壊し、非適応モデルよりもパフォーマンスが悪くなることに気付きました。
論文 参考訳（メタデータ） (2023-06-08T17:52:34Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳（メタデータ） (2023-06-06T09:35:29Z) - Towards Stable Test-Time Adaptation in Dynamic Wild World [60.98073673220025]
テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。
TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
論文 参考訳（メタデータ） (2023-02-24T02:03:41Z) - A Probabilistic Framework for Lifelong Test-Time Adaptation [34.07074915005366]
テスト時間適応(TTA)は、異なるターゲットドメインから与えられたテスト入力(s)の推測時間で事前訓練されたソースモデルを更新する問題である。
PETAL(Probabilistic lifElong Test-time Adaptation with seLf-training prior)は,確率的アプローチを用いて生涯TTAを解決する。
本手法は, 様々なベンチマークにおいて, オンライン・ライフタイム・テスト・タイム・アダプティブの最先端技術よりも優れた結果が得られる。
論文 参考訳（メタデータ） (2022-12-19T18:42:19Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳（メタデータ） (2022-09-23T07:47:33Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳（メタデータ） (2022-08-10T03:05:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。