論文の概要: Continual Test-Time Domain Adaptation

• arxiv url: http://arxiv.org/abs/2203.13591v1
• Date: Fri, 25 Mar 2022 11:42:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 13:27:24.194531
• Title: Continual Test-Time Domain Adaptation
• Title（参考訳）: 連続的なテスト時間ドメイン適応
• Authors: Qin Wang, Olga Fink, Luc Van Gool, Dengxin Dai
• Abstract要約: テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
• 参考スコア（独自算出の注目度）: 94.51284735268597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time domain adaptation aims to adapt a source pre-trained model to a target domain without using any source data. Existing works mainly consider the case where the target domain is static. However, real-world machine perception systems are running in non-stationary and continually changing environments where the target domain distribution can change over time. Existing methods, which are mostly based on self-training and entropy regularization, can suffer from these non-stationary environments. Due to the distribution shift over time in the target domain, pseudo-labels become unreliable. The noisy pseudo-labels can further lead to error accumulation and catastrophic forgetting. To tackle these issues, we propose a continual test-time adaptation approach~(CoTTA) which comprises two parts. Firstly, we propose to reduce the error accumulation by using weight-averaged and augmentation-averaged predictions which are often more accurate. On the other hand, to avoid catastrophic forgetting, we propose to stochastically restore a small part of the neurons to the source pre-trained weights during each iteration to help preserve source knowledge in the long-term. The proposed method enables the long-term adaptation for all parameters in the network. CoTTA is easy to implement and can be readily incorporated in off-the-shelf pre-trained models. We demonstrate the effectiveness of our approach on four classification tasks and a segmentation task for continual test-time adaptation, on which we outperform existing methods. Our code is available at \url{https://qin.ee/cotta}.
• Abstract（参考訳）: テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 既存の作業は、主にターゲットドメインが静的な場合を考える。 しかし、実世界のマシン認識システムは、時間とともに対象領域の分布が変化する非定常かつ継続的に変化する環境で実行されている。 既存の方法は、主に自己学習とエントロピー正規化に基づいており、これらの非定常環境に悩まされる可能性がある。 対象領域における時間的な分布シフトのため、擬似ラベルは信頼できない。 ノイズの多い擬似ラベルは、さらにエラーの蓄積と破滅的な忘れに繋がる可能性がある。 これらの課題に対処するため,2つの部分からなる連続的なテスト時間適応手法~(CoTTA)を提案する。 まず,より精度の高い重み推定と拡張平均予測を用いて,誤差の蓄積を減らすことを提案する。 一方,破滅的な記憶をなくすために,ニューロンのごく一部を各イテレーションで訓練済みの重みに確率的に復元し,長期的知識の保存に役立てることを提案する。 提案手法は,ネットワーク内のすべてのパラメータの長期適応を可能にする。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込める。 提案手法は, 4つの分類タスクと, 既存の手法に勝る連続的なテスト時間適応のためのセグメンテーションタスクに有効であることを示す。 私たちのコードは \url{https://qin.ee/cotta} で利用可能です。

関連論文リスト

• Train Till You Drop: Towards Stable and Robust Source-free Unsupervised 3D Domain Adaptation [62.889835139583965]
  本研究では,3次元セマンティックセグメンテーションのための非教師なし領域適応(SFUDA)の問題に取り組む。 ソースデータにアクセスすることなく、ラベルのないターゲットドメインでドメイン適応を実行する。 既存のSFUDAアプローチの一般的な問題は、あるトレーニング時間後にパフォーマンスが低下することです。
  論文  参考訳（メタデータ） (2024-09-06T17:13:14Z)
• Backpropagation-free Network for 3D Test-time Adaptation [42.469853469556966]
  テスト時間適応(TTA)法は、計算的に重く、メモリ集約的なバックプロパゲーションに基づくアプローチを適用する傾向がある。 本稿では,TTAのバックプロパゲーションフリーアプローチを3次元データの特定の場合に適用する手法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T10:50:24Z)
• Mitigating the Bias in the Model for Continual Test-Time Adaptation [32.33057968481597]
  連続的テスト時間適応(Continuous Test-Time Adaptation, CTA)は、ソース事前学習モデルを目標ドメインの継続的な変更に適応させることを目的とした、困難なタスクである。 対象データの連鎖分布に常に適応するため、モデルは非常に偏りのある予測を示す。 本稿では,CTAシナリオの性能向上のために,この問題を緩和する。
  論文  参考訳（メタデータ） (2024-03-02T23:37:16Z)
• Unraveling Batch Normalization for Realistic Test-Time Adaptation [22.126177142716188]
  本稿では,ミニバッチ劣化問題について考察する。 バッチ正規化を解き放つことにより、不正確なターゲット統計は、バッチのクラス多様性が大幅に減少することに起因することが判明した。 テスト時間指数移動平均(TEMA)という簡単なツールを導入し、トレーニングとテストバッチ間のクラス多様性のギャップを埋める。
  論文  参考訳（メタデータ） (2023-12-15T01:52:35Z)
• Few-Shot Adaptation of Pre-Trained Networks for Domain Shift [17.123505029637055]
  深層ネットワークは、ソース(トレーニング)データとターゲット(テスト)データの間にドメインシフトがある場合、パフォーマンスが低下する傾向がある。 最近のテスト時間適応手法では,新たなターゲット環境にデプロイされた事前訓練されたソースモデルのバッチ正規化レイヤをストリームデータで更新することで,パフォーマンス劣化を軽減している。 データ効率適応の実践的課題に対処するために,少数ショット領域適応のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-30T16:49:59Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Target and Task specific Source-Free Domain Adaptive Image Segmentation [73.78898054277538]
  ソースフリー領域適応画像分割のための2段階のアプローチを提案する。 我々は,高エントロピー領域を抑えつつ,ターゲット固有の擬似ラベルを生成することに注力する。 第2段階では、タスク固有の表現にネットワークを適用することに重点を置いている。
  論文  参考訳（メタデータ） (2022-03-29T17:50:22Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。