論文の概要: Towards Stable Test-Time Adaptation in Dynamic Wild World
- arxiv url: http://arxiv.org/abs/2302.12400v1
- Date: Fri, 24 Feb 2023 02:03:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-27 14:50:54.242272
- Title: Towards Stable Test-Time Adaptation in Dynamic Wild World
- Title(参考訳): ダイナミック・ワイルド・ワールドにおける安定なテストタイム適応に向けて
- Authors: Shuaicheng Niu, Jiaxiang Wu, Yifan Zhang, Zhiquan Wen, Yaofo Chen,
Peilin Zhao, Mingkui Tan
- Abstract要約: テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。
TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
- 参考スコア(独自算出の注目度): 60.98073673220025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time adaptation (TTA) has shown to be effective at tackling distribution
shifts between training and testing data by adapting a given model on test
samples. However, the online model updating of TTA may be unstable and this is
often a key obstacle preventing existing TTA methods from being deployed in the
real world. Specifically, TTA may fail to improve or even harm the model
performance when test data have: 1) mixed distribution shifts, 2) small batch
sizes, and 3) online imbalanced label distribution shifts, which are quite
common in practice. In this paper, we investigate the unstable reasons and find
that the batch norm layer is a crucial factor hindering TTA stability.
Conversely, TTA can perform more stably with batch-agnostic norm layers, \ie,
group or layer norm. However, we observe that TTA with group and layer norms
does not always succeed and still suffers many failure cases. By digging into
the failure cases, we find that certain noisy test samples with large gradients
may disturb the model adaption and result in collapsed trivial solutions, \ie,
assigning the same class label for all samples. To address the above collapse
issue, we propose a sharpness-aware and reliable entropy minimization method,
called SAR, for further stabilizing TTA from two aspects: 1) remove partial
noisy samples with large gradients, 2) encourage model weights to go to a flat
minimum so that the model is robust to the remaining noisy samples. Promising
results demonstrate that SAR performs more stably over prior methods and is
computationally efficient under the above wild test scenarios.
- Abstract(参考訳): テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。
しかし、TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
具体的には、TTAは、テストデータが持つ場合、モデルのパフォーマンスを改善または損なうことができない。
1)混合分布シフト、
2)小バッチサイズ、及び
3) オンライン不均衡ラベル分布シフトは, 実際には極めて一般的である。
本稿では,不安定な原因を調査し,バッチ標準層がTTA安定性を阻害する重要な要因であることを示す。
逆に、TTAはバッチ非依存のノルム層、\ie、groupまたはlayer normでより安定して実行できる。
しかし、グループとレイヤのノルムを持つTTAは必ずしも成功せず、まだ多くの障害を抱えている。
故障事例を掘り下げると、大きな勾配を持つある種のノイズのあるテストサンプルがモデル適応を阻害し、結果として崩壊した自明な解 \ie が全てのサンプルに対して同じクラスラベルを割り当てることが分かる。
上記の崩壊問題に対処するため、我々はSARと呼ばれる鋭く信頼性の高いエントロピー最小化法を提案し、TTAをさらに2つの側面から安定化させる。
1) 大きな勾配のある部分雑音サンプルを除去する。
2) モデルウェイトは、モデルが残りのノイズサンプルに対して堅牢になるよう、最小限の平坦化を奨励する。
実験の結果,SARは従来の手法よりも安定に動作し,上述のワイルドテストシナリオでは計算効率がよいことがわかった。
関連論文リスト
- SoTTA: Robust Test-Time Adaptation on Noisy Data Streams [9.490557638324084]
テスト時間適応(TTA)は、トレーニングとテストデータの分散シフトに対処することを目的としている。
ほとんどのTTAメソッドは良質なテストストリームを仮定するが、テストサンプルは野生では意外に多様である可能性がある。
ノイズの多いサンプルに対して頑健な新しいTTAアルゴリズムであるScreening-out Test-Time Adaptation (SoTTA)を提案する。
論文 参考訳(メタデータ) (2023-10-16T05:15:35Z) - Reliable Test-Time Adaptation via Agreement-on-the-Line [26.40837283545848]
テスト時間適応(TTA)手法は、ラベルのないデータを用いてモデルを適用することにより、分散シフトに対する堅牢性を改善することを目的としている。
我々は,TTAモデルがライン上のコンセンサス現象を強く示している,注目すべき,驚くべき観察を行う。
これらの観測を利用して、3つの視点でTTA法をより信頼性の高いものにする。
論文 参考訳(メタデータ) (2023-10-07T23:21:25Z) - Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with
Balanced Normalization [52.03927261909813]
既存の研究は、非I.d.データストリームと連続的なドメインシフトの下での実際のテスト時間適応を主に検討している。
我々は、最先端手法の失敗は、まず不均衡なテストデータに正規化層を無差別に適応させることによって生じると論じる。
TRIBEと呼ばれる最後のTTAモデルは、バランスの取れたバッチノーム層を持つトリネットアーキテクチャ上に構築されている。
論文 参考訳(メタデータ) (2023-09-26T14:06:26Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。
提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文 参考訳(メタデータ) (2023-04-25T12:29:22Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳(メタデータ) (2022-08-10T03:05:46Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。