論文の概要: Efficient Test-Time Model Adaptation without Forgetting

• arxiv url: http://arxiv.org/abs/2204.02610v1
• Date: Wed, 6 Apr 2022 06:39:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 14:57:41.987544
• Title: Efficient Test-Time Model Adaptation without Forgetting
• Title（参考訳）: 忘れずに効率的なテスト時間モデル適応
• Authors: Shuaicheng Niu and Jiaxiang Wu and Yifan Zhang and Yaofo Chen and Shijian Zheng and Peilin Zhao and Mingkui Tan
• Abstract要約: テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
• 参考スコア（独自算出の注目度）: 60.36499845014649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation (TTA) seeks to tackle potential distribution shifts between training and testing data by adapting a given model w.r.t. any testing sample. This task is particularly important for deep models when the test environment changes frequently. Although some recent attempts have been made to handle this task, we still face two practical challenges: 1) existing methods have to perform backward computation for each test sample, resulting in unbearable prediction cost to many applications; 2) while existing TTA solutions can significantly improve the test performance on out-of-distribution data, they often suffer from severe performance degradation on in-distribution data after TTA (known as catastrophic forgetting). In this paper, we point out that not all the test samples contribute equally to model adaptation, and high-entropy ones may lead to noisy gradients that could disrupt the model. Motivated by this, we propose an active sample selection criterion to identify reliable and non-redundant samples, on which the model is updated to minimize the entropy loss for test-time adaptation. Furthermore, to alleviate the forgetting issue, we introduce a Fisher regularizer to constrain important model parameters from drastic changes, where the Fisher importance is estimated from test samples with generated pseudo labels. Extensive experiments on CIFAR-10-C, ImageNet-C, and ImageNet-R verify the effectiveness of our proposed method.
• Abstract（参考訳）: テスト時間適応(tta)は、与えられたモデルw.r.t.をテストサンプルに適用することにより、トレーニングとテストデータの間の潜在的分布シフトに対処する。 テスト環境が頻繁に変化する場合、このタスクは特に深いモデルにとって重要です。 この課題に対処するための最近の試みはいくつかあるが、我々はまだ2つの実践的な課題に直面している。 1) 既存の手法では,各試験サンプルに対して逆向きの計算を行う必要があり,その結果,多くのアプリケーションに予測コストがかかる。 2)既存のttaソリューションは,アウトオブディストリビューションデータのテスト性能を著しく向上させるが,tta後のインディストリビューションデータ(破滅的な忘れ)では,パフォーマンスが著しく低下することが多い。 本稿では,全ての試験試料がモデル適応に等しく寄与するわけではなく,高エントロピーがモデルを破壊しうるノイズ勾配につながる可能性があることを指摘する。 そこで本研究では,実験時間適応におけるエントロピー損失を最小限に抑えるためにモデルを更新し,信頼性の高い非冗長なサンプルを同定するアクティブサンプル選択基準を提案する。 さらに,この課題を解消するために,漁獲の重要度を疑似ラベル生成試験から推定するドラスティックな変化から重要なモデルパラメータを制約するフィッシャー正規化器を導入する。 CIFAR-10-C, ImageNet-C, ImageNet-Rの大規模な実験により,提案手法の有効性が検証された。

関連論文リスト

• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
  トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。 単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。 Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Improving Entropy-Based Test-Time Adaptation from a Clustering View [15.157208389691238]
  エントロピーベースのTTAについて,新たなクラスタリングの視点を導入する。 本稿では,ロバストなラベル割り当て,類似性保存制約,サンプル選択,勾配蓄積などを提案する。 実験結果から,本手法は様々なデータセットに対して一貫した改善が可能であることが示された。
  論文  参考訳（メタデータ） (2023-10-31T10:10:48Z)
• REALM: Robust Entropy Adaptive Loss Minimization for Improved Single-Sample Test-Time Adaptation [5.749155230209001]
  フルテスト時間適応(F-TTA)は、列車とテストデータの分散シフトによる性能損失を軽減することができる。 本稿では,F-TTAの雑音に対する堅牢性向上のための一般的な枠組みについて述べる。
  論文  参考訳（メタデータ） (2023-09-07T18:44:58Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。