論文の概要: Resilient Practical Test-Time Adaptation: Soft Batch Normalization
Alignment and Entropy-driven Memory Bank
- arxiv url: http://arxiv.org/abs/2401.14619v1
- Date: Fri, 26 Jan 2024 03:24:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 16:00:26.280699
- Title: Resilient Practical Test-Time Adaptation: Soft Batch Normalization
Alignment and Entropy-driven Memory Bank
- Title（参考訳）: 弾力性のある実用的テストタイム適応:ソフトバッチ正規化アライメントとエントロピー駆動メモリバンク
- Authors: Xingzhi Zhou, Zhiliang Tian, Ka Chun Cheung, Simon See, Nevin L. Zhang
- Abstract要約: 本稿では,パラメータのレジリエンスとデータ品質に着目した実践的なテスト時間適応手法(ResiTTA)を提案する。
我々は、タイムライン、過信サンプルの持続性、適応時の高品質なデータに対するサンプル不確かさを考慮に入れたエントロピー駆動型メモリバンクを使用する。
さまざまなベンチマークデータセット間でResiTTAを実証的に検証し、最先端のパフォーマンスを実証する。
- 参考スコア（独自算出の注目度）: 24.096250529224914
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time domain adaptation effectively adjusts the source domain model to
accommodate unseen domain shifts in a target domain during inference. However,
the model performance can be significantly impaired by continuous distribution
changes in the target domain and non-independent and identically distributed
(non-i.i.d.) test samples often encountered in practical scenarios. While
existing memory bank methodologies use memory to store samples and mitigate
non-i.i.d. effects, they do not inherently prevent potential model degradation.
To address this issue, we propose a resilient practical test-time adaptation
(ResiTTA) method focused on parameter resilience and data quality.
Specifically, we develop a resilient batch normalization with estimation on
normalization statistics and soft alignments to mitigate overfitting and model
degradation. We use an entropy-driven memory bank that accounts for timeliness,
the persistence of over-confident samples, and sample uncertainty for
high-quality data in adaptation. Our framework periodically adapts the source
domain model using a teacher-student model through a self-training loss on the
memory samples, incorporating soft alignment losses on batch normalization. We
empirically validate ResiTTA across various benchmark datasets, demonstrating
state-of-the-art performance.
- Abstract（参考訳）: テスト時ドメイン適応は、推論中にターゲットドメインの見えないドメインシフトに対応するために、ソースドメインモデルを効果的に調整する。
しかし、モデルの性能は、ターゲット領域における連続的な分布変化と、実際的なシナリオでしばしば発生する非独立で同一に分布するテストサンプルによって著しく損なわれる可能性がある。
既存のメモリバンク手法では、メモリを使用してサンプルを保存し、非I.D.効果を緩和するが、それらは本質的に潜在的なモデル劣化を防ぐものではない。
この問題に対処するために,パラメータのレジリエンスとデータ品質に着目した実用的実時間適応法(ResiTTA)を提案する。
具体的には,正規化統計量およびソフトアライメントを用いた弾力性バッチ正規化法を開発し,オーバーフィッティングとモデル劣化を緩和する。
我々は、タイムライン、過信サンプルの持続性、適応時の高品質なデータに対するサンプル不確かさを考慮に入れたエントロピー駆動型メモリバンクを使用する。
本フレームワークは, 学習者モデルを用いて, 学習者の記憶サンプルの自己学習損失を補足し, バッチ正規化にソフトアライメントの損失を組み込む。
さまざまなベンチマークデータセット間でResiTTAを実証的に検証し、最先端のパフォーマンスを示す。
関連論文リスト
- DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。
単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。
Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
論文 参考訳（メタデータ） (2024-09-28T15:03:28Z) - Diffusion Model Driven Test-Time Image Adaptation for Robust Skin Lesion Classification [24.08402880603475]
テストデータ上でのモデルの精度を高めるためのテスト時間画像適応手法を提案する。
拡散モデルを用いて、対象の試験画像をソース領域に投影して修正する。
私たちの手法は、さまざまな汚職、アーキテクチャ、データレシエーションにおいて、堅牢性をより堅牢にします。
論文 参考訳（メタデータ） (2024-05-18T13:28:51Z) - Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。
テスト時間フォワード最適化適応法(FOA)を提案する。
FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
論文 参考訳（メタデータ） (2024-04-02T05:34:33Z) - Diversity-aware Buffer for Coping with Temporally Correlated Data
Streams in Online Test-time Adaptation [3.1265626879839923]
テストデータストリームは必ずしも独立であり、同じ分散(すなわちd)であるとは限らない。
非i.d.シナリオであっても、i.d.データストリームをシミュレートできるダイバーシティ対応およびカテゴリバランスバッファを提案する。
我々は、最も検討されたベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2024-01-02T01:56:25Z) - A Conditioned Unsupervised Regression Framework Attuned to the Dynamic Nature of Data Streams [0.0]
本稿では,制限付きラベル付きデータを用いたストリーミング環境の最適戦略を提案し,教師なし回帰のための適応手法を提案する。
提案手法は,初期ラベルのスパースセットを活用し,革新的なドリフト検出機構を導入する。
適応性を高めるために,Adaptive WINdowingアルゴリズムとRoot Mean Square Error (RMSE)に基づく誤り一般化アルゴリズムを統合する。
論文 参考訳（メタデータ） (2023-12-12T19:23:54Z) - Generalized Robust Test-Time Adaptation in Continuous Dynamic Scenarios [18.527640606971563]
テスト時間適応(TTA)は、未ラベルのテストデータストリームのみを使用する推論フェーズにおいて、事前訓練されたモデルに分散をテストする。
本稿では,問題に効果的に対応する汎用ロバストテスト時間適応(GRoTTA)法を提案する。
論文 参考訳（メタデータ） (2023-10-07T07:13:49Z) - AR-TTA: A Simple Method for Real-World Continual Test-Time Adaptation [1.4530711901349282]
本稿では,自律運転のためのデータセット,すなわちCLAD-CとShiFTを用いたテスト時間適応手法の検証を提案する。
現在のテスト時間適応手法は、ドメインシフトの様々な程度を効果的に扱うのに苦労している。
モデル安定性を高めるために、小さなメモリバッファを組み込むことで、確立された自己学習フレームワークを強化する。
論文 参考訳（メタデータ） (2023-09-18T19:34:23Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳（メタデータ） (2023-01-30T15:54:00Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳（メタデータ） (2022-04-06T06:39:40Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:55:11Z) - Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
我々は,推論中に深層モデルを新しい環境に適応させることを提案する。
バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。
また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
論文 参考訳（メタデータ） (2021-10-06T08:45:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。