論文の概要: Universal Test-time Adaptation through Weight Ensembling, Diversity
Weighting, and Prior Correction
- arxiv url: http://arxiv.org/abs/2306.00650v1
- Date: Thu, 1 Jun 2023 13:16:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 16:05:11.128324
- Title: Universal Test-time Adaptation through Weight Ensembling, Diversity
Weighting, and Prior Correction
- Title（参考訳）: 重み付け・多様性重み付け・事前補正による普遍的テスト時間適応
- Authors: Robert A. Marsden, Mario D\"obler, Bin Yang
- Abstract要約: 変動因子「領域非定常性」と「時間的相関」を導入する。
次に、実際に関連するすべての設定を展開し、エンティティを普遍的なTTAとして定義する。
ROIDという名前のアプローチを、幅広い設定、データセット、モデルで評価します。
- 参考スコア（独自算出の注目度）: 5.744133015573047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since distribution shifts are likely to occur during test-time and can
drastically decrease the model's performance, online test-time adaptation (TTA)
continues to update the model after deployment, leveraging the current test
data. Clearly, a method proposed for online TTA has to perform well for all
kinds of environmental conditions. By introducing the variable factors 'domain
non-stationarity' and 'temporal correlation', we first unfold all practically
relevant settings and define the entity as universal TTA. To tackle the problem
of universal TTA, we identify and highlight several challenges a self-training
based method has to deal with, including: 1) model bias and the occurrence of
trivial solutions when performing entropy minimization on varying sequence
lengths with and without multiple domain shifts, 2) loss of generalization
which exacerbates the adaptation to future domain shifts and the occurrence of
catastrophic forgetting, and 3) performance degradation due to shifts in label
prior. To prevent the model from becoming biased, we leverage a dataset and
model-agnostic certainty and diversity weighting. In order to maintain
generalization and prevent catastrophic forgetting, we propose to continually
weight-average the source and adapted model. To compensate for disparities in
the label prior during test-time, we propose an adaptive additive prior
correction scheme. We evaluate our approach, named ROID, on a wide range of
settings, datasets, and models, setting new standards in the field of universal
TTA.
- Abstract（参考訳）: 分散シフトはテスト時間中に起こり、モデルの性能を大幅に低下させる可能性があるため、オンラインテスト時間適応(TTA)は、現在のテストデータを活用して、デプロイ後もモデルを更新し続ける。
オンラインTTAに提案する手法は, あらゆる環境条件に対して有効である必要がある。
変数要素の「ドメイン非定常性」と「時間的相関」を導入することにより、まずすべての実用的な設定を展開させ、エンティティを普遍的なTTAとして定義する。
ユニバーサルttaの問題に取り組むために,我々は,自己学習に基づく手法が対処しなければならないいくつかの課題を特定し,強調する。
1)複数の領域シフトを伴わないシーケンス長の異なるエントロピー最小化を行う場合のモデルバイアスと自明解の発生
2)将来の領域シフトへの適応を悪化させる一般化の喪失と破滅的な忘れ方の発生
3)ラベルの先行変更による性能劣化。
モデルがバイアスを受けるのを防ぐために、データセットとモデルに依存しない確実性と多様性の重み付けを利用する。
ジェネライゼーションの維持と壊滅的な忘れることを防ぐため、ソースと適応モデルの継続的な重み付けを提案する。
テスト時間中にラベルのずれを補償するために,適応加法的事前補正スキームを提案する。
我々は、幅広い設定、データセット、モデルに基づいてROIDというアプローチを評価し、普遍的なTTA分野における新しい標準を設定します。
関連論文リスト
- DATTA: Towards Diversity Adaptive Test-Time Adaptation in Dynamic Wild World [6.816521410643928]
本稿では,QoE(Quality of Experience)の改善を目的としたDATTA(Diversity Adaptive Test-Time Adaptation)という手法を提案する。
バッチの多様性を評価するダイバーシティ識別(DD)、DDの洞察に基づく正規化手法を調整するためのダイバーシティ適応バッチ正規化(DABN)、モデルを選択的に微調整するダイバーシティ適応細調整(DAFT)の3つの主要なコンポーネントが特徴である。
実験結果から,本手法の精度は最先端手法と比較して最大21%向上することがわかった。
論文 参考訳（メタデータ） (2024-08-15T09:50:11Z) - Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。
しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。
本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
論文 参考訳（メタデータ） (2023-11-30T02:24:44Z) - Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with
Balanced Normalization [52.03927261909813]
既存の研究は、非I.d.データストリームと連続的なドメインシフトの下での実際のテスト時間適応を主に検討している。
我々は、最先端手法の失敗は、まず不均衡なテストデータに正規化層を無差別に適応させることによって生じると論じる。
TRIBEと呼ばれる最後のTTAモデルは、バランスの取れたバッチノーム層を持つトリネットアーキテクチャ上に構築されている。
論文 参考訳（メタデータ） (2023-09-26T14:06:26Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳（メタデータ） (2023-06-06T09:35:29Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳（メタデータ） (2023-01-30T15:54:00Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。
本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。
テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
論文 参考訳（メタデータ） (2022-03-10T18:51:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。