論文の概要: Evaluating Continual Test-Time Adaptation for Contextual and Semantic Domain Shifts

• arxiv url: http://arxiv.org/abs/2208.08767v1
• Date: Thu, 18 Aug 2022 11:05:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 13:09:11.451973
• Title: Evaluating Continual Test-Time Adaptation for Contextual and Semantic Domain Shifts
• Title（参考訳）: 文脈および意味領域シフトに対する連続的なテスト時間適応の評価
• Authors: Tommie Kerssies, Joaquin Vanschoren and Mert K{\i}l{\i}\c{c}kaya
• Abstract要約: 我々は、事前訓練された畳み込みニューラルネットワークをテスト時にドメインシフトに適用する。 ドメインシフトの現実的および挑戦的な2つの源、すなわちコンテキストシフトとセマンティックシフトに基づいて、技術の現状を評価する。 テスト時間適応法は、意味的シフトよりも文脈的シフトの方が優れ、忘れがちである。
• 参考スコア（独自算出の注目度）: 3.4161707164978137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, our goal is to adapt a pre-trained Convolutional Neural Network to domain shifts at test time. We do so continually with the incoming stream of test batches, without labels. Existing literature mostly operates on artificial shifts obtained via adversarial perturbations of a test image. Motivated by this, we evaluate the state of the art on two realistic and challenging sources of domain shifts, namely contextual and semantic shifts. Contextual shifts correspond to the environment types, for example a model pre-trained on indoor context has to adapt to the outdoor context on CORe-50 [7]. Semantic shifts correspond to the capture types, for example a model pre-trained on natural images has to adapt to cliparts, sketches and paintings on DomainNet [10]. We include in our analysis recent techniques such as Prediction-Time Batch Normalization (BN) [8], Test Entropy Minimization (TENT) [16] and Continual Test-Time Adaptation (CoTTA) [17]. Our findings are three-fold: i) Test-time adaptation methods perform better and forget less on contextual shifts compared to semantic shifts, ii) TENT outperforms other methods on short-term adaptation, whereas CoTTA outpeforms other methods on long-term adaptation, iii) BN is most reliable and robust.
• Abstract（参考訳）: 本稿では,事前学習した畳み込みニューラルネットワークをテスト時にドメインシフトに適用することを目的とする。 私たちはラベルなしで、入ってくるテストバッチのストリームを継続的に行います。 既存の文献は、主にテスト画像の逆方向の摂動によって得られる人工的なシフトで動作する。 この動機付けにより、ドメインシフトの現実的かつ挑戦的な2つのソース、すなわち文脈的および意味的シフトに関する技術の現状を評価する。 例えば、屋内コンテキストで事前訓練されたモデルは、CORe-50[7]の屋外コンテキストに適応しなければならない。 例えば、自然画像上で事前訓練されたモデルは、DomainNetのクリップアート、スケッチ、絵に適応しなければならない[10]。 予測時間バッチ正規化 (bn) [8], テストエントロピー最小化 (tent) [16], 連続的テスト時間適応 (cotta) [17] などの最近の手法について分析を行った。 私たちの発見は3倍です。 一 テスト時適応法は、セマンティックシフトに比べて文脈シフトが良く、忘れられないこと。 ii)TENTは他の短期適応法よりも優れ、CoTTAは他の長期適応法より優れている。 iii)bnが最も信頼でき、堅牢である。

関連論文リスト

• Just Shift It: Test-Time Prototype Shifting for Zero-Shot Generalization with Vision-Language Models [19.683461002518147]
  Test-Time Prototype Shifting (TPS)は、未ラベルのテスト入力を使用したデータセットのテストに視覚言語モデルを適用するために設計された先駆的なアプローチである。 TPSは、その後の予測のために最適化不要なプロトタイプの再利用を促進するだけでなく、プロンプトエンジニアリングにおける現在の進歩とシームレスに統合することを可能にする。 我々のフレームワークの特筆すべき点は、従来のテキストプロンプトチューニング手法と比較して、メモリと計算要求が大幅に削減されていることである。
  論文  参考訳（メタデータ） (2024-03-19T17:54:34Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• Robust Mean Teacher for Continual and Gradual Test-Time Adaptation [5.744133015573047]
  経時的テスト時間適応(TTA)は、単一のドメインシフトだけでなく、一連のシフトも考慮している。 我々は,TTAの設定において,平均教師の整合性損失として対称的クロスエントロピーが適していることを示す。 提案手法は, 連続的, 段階的評価ベンチマークにおいて, RMT (Robust mean teacher) の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-23T16:14:45Z)
• TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
  Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。 また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T07:47:33Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Gradual Test-Time Adaptation by Self-Training and Style Transfer [5.110894308882439]
  段階的ドメイン適応とテスト時間適応の自然な関係を示す。 本稿では,自己学習とスタイル伝達に基づく新しい手法を提案する。 CIFAR10C, CIFAR100C, ImageNet-Cベンチマークにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-08-16T13:12:19Z)
• Test-time Batch Normalization [61.292862024903584]
  ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。 トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。 本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
  論文  参考訳（メタデータ） (2022-05-20T14:33:39Z)
• Test time Adaptation through Perturbation Robustness [1.52292571922932]
  私たちは、推論時にドメインシフトに適応する問題に取り組みます。 トレーニングプロセスを変更するのではなく、テスト時にモデルを迅速に適用して、ドメインシフトを処理します。 我々の手法は、以前の方法と同等か、あるいは著しく上回っている。
  論文  参考訳（メタデータ） (2021-10-19T20:00:58Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。