論文の概要: SPARNet: Continual Test-Time Adaptation via Sample Partitioning Strategy and Anti-Forgetting Regularization

• arxiv url: http://arxiv.org/abs/2501.00818v1
• Date: Wed, 01 Jan 2025 12:19:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:14:26.364738
• Title: SPARNet: Continual Test-Time Adaptation via Sample Partitioning Strategy and Anti-Forgetting Regularization
• Title（参考訳）: SPARNet: サンプル分割戦略とアンチフォッティング規則化による連続的なテスト時間適応
• Authors: Xinru Meng, Han Sun, Jiamei Liu, Ningzhong Liu, Huiyu Zhou,
• Abstract要約: TTA(Test-time Adaptation)は、モデルがデプロイ後にドメインの変更に遭遇した場合のパフォーマンスを改善することを目的としている。 単純な自己学習法で作られたノイズの多い擬似ラベルは、誤りの蓄積と破滅的な忘れを生じさせる可能性がある。 本稿では,サンプル分割戦略とアンチフォーゲッティング正規化という2つの部分からなる新しいフレームワークSPARNetを提案する。
• 参考スコア（独自算出の注目度）: 16.5927083825258
• License:
• Abstract: Test-time Adaptation (TTA) aims to improve model performance when the model encounters domain changes after deployment. The standard TTA mainly considers the case where the target domain is static, while the continual TTA needs to undergo a sequence of domain changes. This encounters a significant challenge as the model needs to adapt for the long-term and is unaware of when the domain changes occur. The quality of pseudo-labels is hard to guarantee. Noisy pseudo-labels produced by simple self-training methods can cause error accumulation and catastrophic forgetting. In this work, we propose a new framework named SPARNet which consists of two parts, sample partitioning strategy and anti-forgetting regularization. The sample partition strategy divides samples into two groups, namely reliable samples and unreliable samples. According to the characteristics of each group of samples, we choose different strategies to deal with different groups of samples. This ensures that reliable samples contribute more to the model. At the same time, the negative impacts of unreliable samples are eliminated by the mean teacher's consistency learning. Finally, we introduce a regularization term to alleviate the catastrophic forgetting problem, which can limit important parameters from excessive changes. This term enables long-term adaptation of parameters in the network. The effectiveness of our method is demonstrated in continual TTA scenario by conducting a large number of experiments on CIFAR10-C, CIFAR100-C and ImageNet-C.
• Abstract（参考訳）: TTA(Test-time Adaptation)は、モデルがデプロイ後にドメインの変更に遭遇した場合のパフォーマンスを改善することを目的としている。 標準TTAは、ターゲットドメインが静的である場合を主に考慮し、連続TTAは一連のドメイン変更を行う必要がある。 モデルが長期にわたって適応する必要があるため、ドメインの変更がいつ起こるか分からないため、これは大きな課題に直面します。 擬似ラベルの品質は保証が難しい。 単純な自己学習法で作られたノイズの多い擬似ラベルは、誤りの蓄積と破滅的な忘れを生じさせる可能性がある。 本研究では,サンプル分割戦略とアンチフォッゲッティング正規化という2つの部分からなる新しいフレームワークSPARNetを提案する。 サンプル分割戦略は、サンプルを信頼性のあるサンプルと信頼できないサンプルの2つのグループに分割する。 各試料群の特徴から, 異なる試料群を扱うための異なる戦略を選択する。 これにより、信頼性の高いサンプルがモデルにより多くの貢献することを保証する。 同時に、教師の一貫性学習により、信頼できないサンプルの負の影響を除去する。 最後に、過剰な変化から重要なパラメータを制限できる破滅的忘れ問題を軽減するために、正規化項を導入する。 この用語は、ネットワーク内のパラメータの長期適応を可能にする。 CIFAR10-C, CIFAR100-C, ImageNet-Cで多数の実験を行い, 連続TTAシナリオにおいて本手法の有効性を実証した。

関連論文リスト

• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
  トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。 単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。 Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
  現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。 しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。 本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
  論文  参考訳（メタデータ） (2023-11-30T02:24:44Z)
• Towards Stable Test-Time Adaptation in Dynamic Wild World [60.98073673220025]
  テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。 TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
  論文  参考訳（メタデータ） (2023-02-24T02:03:41Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。