論文の概要: Layerwise Early Stopping for Test Time Adaptation

• arxiv url: http://arxiv.org/abs/2404.03784v1
• Date: Thu, 4 Apr 2024 19:55:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 17:25:49.828317
• Title: Layerwise Early Stopping for Test Time Adaptation
• Title（参考訳）: テスト時間適応のための階層的早期停止
• Authors: Sabyasachi Sahoo, Mostafa ElAraby, Jonas Ngnawe, Yann Pequignot, Frederic Precioso, Christian Gagne,
• Abstract要約: テスト時間適応(TTA)は、事前訓練されたモデルがテスト時に見えないドメインで新機能を学習できるようにすることで、分散シフトの問題に対処する。 新機能の学習と,トレーニング済みの有用な機能の維持のバランスを維持する上で,これは大きな課題となる。 本稿では,TTAのためのレイヤワイズEArly Stopping(LEAST)を提案する。
• 参考スコア（独自算出の注目度）: 0.2968738145616401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test Time Adaptation (TTA) addresses the problem of distribution shift by enabling pretrained models to learn new features on an unseen domain at test time. However, it poses a significant challenge to maintain a balance between learning new features and retaining useful pretrained features. In this paper, we propose Layerwise EArly STopping (LEAST) for TTA to address this problem. The key idea is to stop adapting individual layers during TTA if the features being learned do not appear beneficial for the new domain. For that purpose, we propose using a novel gradient-based metric to measure the relevance of the current learnt features to the new domain without the need for supervised labels. More specifically, we propose to use this metric to determine dynamically when to stop updating each layer during TTA. This enables a more balanced adaptation, restricted to layers benefiting from it, and only for a certain number of steps. Such an approach also has the added effect of limiting the forgetting of pretrained features useful for dealing with new domains. Through extensive experiments, we demonstrate that Layerwise Early Stopping improves the performance of existing TTA approaches across multiple datasets, domain shifts, model architectures, and TTA losses.
• Abstract（参考訳）: テスト時間適応(TTA)は、事前訓練されたモデルがテスト時に見えないドメインで新機能を学習できるようにすることで、分散シフトの問題に対処する。 しかし、これは新しい機能の学習と有用な事前訓練された機能の維持のバランスを維持するために大きな課題となる。 本稿では,TTAのためのレイヤワイズ・アーリー・ストッピング(LEAST)を提案し,この問題に対処する。 鍵となる考え方は、学習対象の機能が新しいドメインにとって有益でないように見える場合、TTA中に個々のレイヤを適用するのをやめることである。 そこで本稿では,教師付きラベルを必要とせずに,学習した特徴を新しい領域に関連付けるための,新しい勾配に基づく尺度を提案する。 具体的には、TTA中に各レイヤの更新を停止するタイミングを動的に決定するために、このメトリックを使うことを提案する。 これにより、よりバランスの取れた適応が可能になり、その恩恵を受けるレイヤに制限され、特定のステップに限られます。 このようなアプローチは、新しいドメインを扱うのに役立つ事前訓練された機能の忘れを制限する効果もある。 広範な実験を通じて、Layerwise Early Stoppingは、複数のデータセット、ドメインシフト、モデルアーキテクチャ、TTA損失にまたがる既存のTTAアプローチのパフォーマンスを改善することを実証した。

関連論文リスト

• Active Test-Time Adaptation: Theoretical Analyses and An Algorithm [51.84691955495693]
  テスト時間適応(TTA)は、教師なし設定でストリーミングテストデータの分散シフトに対処する。 完全TTA設定内に能動学習を統合する能動テスト時間適応(ATTA)の新たな問題設定を提案する。
  論文  参考訳（メタデータ） (2024-04-07T22:31:34Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
  現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。 しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。 本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
  論文  参考訳（メタデータ） (2023-11-30T02:24:44Z)
• From Question to Exploration: Test-Time Adaptation in Semantic Segmentation? [21.27237423511349]
  テスト時間適応(TTA)は、トレーニングデータに基づいてトレーニングされたモデルを、潜在的な分散シフトを伴うテストデータに適用することを目的としている。 セマンティックセグメンテーションにおける既存の古典的TTA戦略の適用性について検討する。
  論文  参考訳（メタデータ） (2023-10-09T01:59:49Z)
• Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with Balanced Normalization [52.03927261909813]
  既存の研究は、非I.d.データストリームと連続的なドメインシフトの下での実際のテスト時間適応を主に検討している。 我々は、最先端手法の失敗は、まず不均衡なテストデータに正規化層を無差別に適応させることによって生じると論じる。 TRIBEと呼ばれる最後のTTAモデルは、バランスの取れたバッチノーム層を持つトリネットアーキテクチャ上に構築されている。
  論文  参考訳（メタデータ） (2023-09-26T14:06:26Z)
• Improved Test-Time Adaptation for Domain Generalization [48.239665441875374]
  テストタイムトレーニング(TTT)は、学習したモデルにテストデータを適用する。 この作業は2つの主な要因に対処する: テストフェーズ中にアップデートする信頼性のあるパラメータを更新および識別するための適切な補助的TTTタスクを選択する。 トレーニングされたモデルに適応パラメータを追加し、テストフェーズでのみ適応パラメータを更新することを提案する。
  論文  参考訳（メタデータ） (2023-04-10T10:12:38Z)
• Robust Mean Teacher for Continual and Gradual Test-Time Adaptation [5.744133015573047]
  経時的テスト時間適応(TTA)は、単一のドメインシフトだけでなく、一連のシフトも考慮している。 我々は,TTAの設定において,平均教師の整合性損失として対称的クロスエントロピーが適していることを示す。 提案手法は, 連続的, 段階的評価ベンチマークにおいて, RMT (Robust mean teacher) の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-23T16:14:45Z)
• TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
  Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。 また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T07:47:33Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。