論文の概要: Efficient Test-Time Model Adaptation without Forgetting
- arxiv url: http://arxiv.org/abs/2204.02610v1
- Date: Wed, 6 Apr 2022 06:39:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-07 14:57:41.987544
- Title: Efficient Test-Time Model Adaptation without Forgetting
- Title(参考訳): 忘れずに効率的なテスト時間モデル適応
- Authors: Shuaicheng Niu and Jiaxiang Wu and Yifan Zhang and Yaofo Chen and
Shijian Zheng and Peilin Zhao and Mingkui Tan
- Abstract要約: テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
- 参考スコア(独自算出の注目度): 60.36499845014649
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time adaptation (TTA) seeks to tackle potential distribution shifts
between training and testing data by adapting a given model w.r.t. any testing
sample. This task is particularly important for deep models when the test
environment changes frequently. Although some recent attempts have been made to
handle this task, we still face two practical challenges: 1) existing methods
have to perform backward computation for each test sample, resulting in
unbearable prediction cost to many applications; 2) while existing TTA
solutions can significantly improve the test performance on out-of-distribution
data, they often suffer from severe performance degradation on in-distribution
data after TTA (known as catastrophic forgetting). In this paper, we point out
that not all the test samples contribute equally to model adaptation, and
high-entropy ones may lead to noisy gradients that could disrupt the model.
Motivated by this, we propose an active sample selection criterion to identify
reliable and non-redundant samples, on which the model is updated to minimize
the entropy loss for test-time adaptation. Furthermore, to alleviate the
forgetting issue, we introduce a Fisher regularizer to constrain important
model parameters from drastic changes, where the Fisher importance is estimated
from test samples with generated pseudo labels. Extensive experiments on
CIFAR-10-C, ImageNet-C, and ImageNet-R verify the effectiveness of our proposed
method.
- Abstract(参考訳): テスト時間適応(tta)は、与えられたモデルw.r.t.をテストサンプルに適用することにより、トレーニングとテストデータの間の潜在的分布シフトに対処する。
テスト環境が頻繁に変化する場合、このタスクは特に深いモデルにとって重要です。
この課題に対処するための最近の試みはいくつかあるが、我々はまだ2つの実践的な課題に直面している。
1) 既存の手法では,各試験サンプルに対して逆向きの計算を行う必要があり,その結果,多くのアプリケーションに予測コストがかかる。
2)既存のttaソリューションは,アウトオブディストリビューションデータのテスト性能を著しく向上させるが,tta後のインディストリビューションデータ(破滅的な忘れ)では,パフォーマンスが著しく低下することが多い。
本稿では,全ての試験試料がモデル適応に等しく寄与するわけではなく,高エントロピーがモデルを破壊しうるノイズ勾配につながる可能性があることを指摘する。
そこで本研究では,実験時間適応におけるエントロピー損失を最小限に抑えるためにモデルを更新し,信頼性の高い非冗長なサンプルを同定するアクティブサンプル選択基準を提案する。
さらに,この課題を解消するために,漁獲の重要度を疑似ラベル生成試験から推定するドラスティックな変化から重要なモデルパラメータを制約するフィッシャー正規化器を導入する。
CIFAR-10-C, ImageNet-C, ImageNet-Rの大規模な実験により,提案手法の有効性が検証された。
関連論文リスト
- REALM: Robust Entropy Adaptive Loss Minimization for Improved
Single-Sample Test-Time Adaptation [5.749155230209001]
フルテスト時間適応(F-TTA)は、列車とテストデータの分散シフトによる性能損失を軽減することができる。
本稿では,F-TTAの雑音に対する堅牢性向上のための一般的な枠組みについて述べる。
論文 参考訳(メタデータ) (2023-09-07T18:44:58Z) - Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。
提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文 参考訳(メタデータ) (2023-04-25T12:29:22Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - Towards Stable Test-Time Adaptation in Dynamic Wild World [60.98073673220025]
テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。
TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
論文 参考訳(メタデータ) (2023-02-24T02:03:41Z) - DELTA: degradation-free fully test-time adaptation [59.74287982885375]
テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。
まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。
第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
論文 参考訳(メタデータ) (2023-01-30T15:54:00Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-05-18T05:43:06Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳(メタデータ) (2021-10-18T17:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。