論文の概要: Improving Test-Time Adaptation via Shift-agnostic Weight Regularization and Nearest Source Prototypes

• arxiv url: http://arxiv.org/abs/2207.11707v1
• Date: Sun, 24 Jul 2022 10:17:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 14:34:37.103856
• Title: Improving Test-Time Adaptation via Shift-agnostic Weight Regularization and Nearest Source Prototypes
• Title（参考訳）: シフト非依存重み正規化と最寄りのソースプロトタイプによるテスト時間適応の改善
• Authors: Sungha Choi, Seunghan Yang, Seokeon Choi, Sungrack Yun
• Abstract要約: 本稿では,対象ドメインからの未ラベルのオンラインデータのみを用いて,ソースドメイン上で事前学習したモデルを調整する新しいテスト時間適応手法を提案する。 提案手法は,各種標準ベンチマークの最先端性能を示すとともに,教師付きベンチマークよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 18.140619966865955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a novel test-time adaptation strategy that adjusts the model pre-trained on the source domain using only unlabeled online data from the target domain to alleviate the performance degradation due to the distribution shift between the source and target domains. Adapting the entire model parameters using the unlabeled online data may be detrimental due to the erroneous signals from an unsupervised objective. To mitigate this problem, we propose a shift-agnostic weight regularization that encourages largely updating the model parameters sensitive to distribution shift while slightly updating those insensitive to the shift, during test-time adaptation. This regularization enables the model to quickly adapt to the target domain without performance degradation by utilizing the benefit of a high learning rate. In addition, we present an auxiliary task based on nearest source prototypes to align the source and target features, which helps reduce the distribution shift and leads to further performance improvement. We show that our method exhibits state-of-the-art performance on various standard benchmarks and even outperforms its supervised counterpart.
• Abstract（参考訳）: 本稿では,対象ドメインからの未ラベルのオンラインデータのみを用いて,ソースドメイン上で事前学習したモデルを調整することで,ソースドメインとターゲットドメイン間の分散シフトによる性能劣化を軽減する新しいテスト時間適応手法を提案する。 ラベルなしオンラインデータを用いたモデルパラメータ全体への適応は、教師なしの目的からの誤った信号のため、有害である可能性がある。 この問題を緩和するために,テスト時間適応中に,分布シフトに敏感なモデルパラメータをわずかに更新しながら,分布シフトに敏感なモデルパラメータを大幅に更新するシフト非依存量正規化を提案する。 この正規化により、高い学習率の利点を生かして、性能劣化なしにターゲット領域に迅速に適応することが可能となる。 さらに,ソースとターゲットの機能を調整するために,最寄りのソースプロトタイプに基づく補助タスクを提案することで,分散シフトを低減し,さらなるパフォーマンス向上を実現する。 本手法は,様々な標準ベンチマークにおいて最先端のパフォーマンスを示し,教師付きベンチマークよりも優れた性能を示す。

関連論文リスト

• Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach [14.958884168060097]
  オンライン自己学習によるテスト時間適応のための新しい手法を提案する。 提案手法は,マーチンガレットとオンライン学習の概念を組み合わせることで,分布変化に反応可能な検出ツールを構築する。 実験結果から, 分散シフト時のテスト時間精度は, 精度とキャリブレーションを保ちながら向上することが示された。
  論文  参考訳（メタデータ） (2024-08-14T12:40:57Z)
• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Mitigating the Bias in the Model for Continual Test-Time Adaptation [32.33057968481597]
  連続的テスト時間適応(Continuous Test-Time Adaptation, CTA)は、ソース事前学習モデルを目標ドメインの継続的な変更に適応させることを目的とした、困難なタスクである。 対象データの連鎖分布に常に適応するため、モデルは非常に偏りのある予測を示す。 本稿では,CTAシナリオの性能向上のために,この問題を緩和する。
  論文  参考訳（メタデータ） (2024-03-02T23:37:16Z)
• Turn Down the Noise: Leveraging Diffusion Models for Test-time Adaptation via Pseudo-label Ensembling [2.5437028043490084]
  テスト時間適応の目標は、ソースデータに頼ることなく、継続的に変化するターゲットドメインにソース予測モデルを適用することである。 本稿では,事前学習した拡散モデルを用いて,対象領域の画像がソース領域に近づくように投影する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T20:35:32Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Continual Source-Free Unsupervised Domain Adaptation [37.060694803551534]
  既存のソースフリーのUnsupervised Domain Adaptationアプローチは破滅的な忘れを見せる。 本稿では,SuDAの継続的な学習環境における課題に対応するための連続的なSUDA(C-SUDA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-14T20:11:05Z)
• Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
  確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。 本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
  論文  参考訳（メタデータ） (2022-10-19T08:41:19Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation [44.494319305269535]
  ニューラルネットワークは、トレインタイムのデータ分散下ではありそうもないデータに対して、低いパフォーマンスを示すことが多い。 本稿では,対象分布からのラベル付きデータのみを必要とする完全テスト時間適応設定に焦点をあてる。 本稿では,初期収束とエントロピー最小化の不安定性の両方に対処することにより,テスト時間適応を改善する新しい損失を提案する。
  論文  参考訳（メタデータ） (2021-06-28T22:06:10Z)
• Selective Pseudo-Labeling with Reinforcement Learning for Semi-Supervised Domain Adaptation [116.48885692054724]
  半教師付きドメイン適応のための強化学習に基づく選択擬似ラベル法を提案する。 高精度かつ代表的な擬似ラベルインスタンスを選択するための深層Q-ラーニングモデルを開発する。 提案手法は, SSDAのベンチマークデータセットを用いて評価し, 全ての比較手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-07T03:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。