論文の概要: Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation

• arxiv url: http://arxiv.org/abs/2106.14999v1
• Date: Mon, 28 Jun 2021 22:06:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 07:49:52.319918
• Title: Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation
• Title（参考訳）: 信頼度最大化と入力変換による分布シフトへのテスト時間適応
• Authors: Chaithanya Kumar Mummadi, Robin Hutmacher, Kilian Rambach, Evgeny Levinkov, Thomas Brox, Jan Hendrik Metzen
• Abstract要約: ニューラルネットワークは、トレインタイムのデータ分散下ではありそうもないデータに対して、低いパフォーマンスを示すことが多い。 本稿では,対象分布からのラベル付きデータのみを必要とする完全テスト時間適応設定に焦点をあてる。 本稿では,初期収束とエントロピー最小化の不安定性の両方に対処することにより,テスト時間適応を改善する新しい損失を提案する。
• 参考スコア（独自算出の注目度）: 44.494319305269535
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep neural networks often exhibit poor performance on data that is unlikely under the train-time data distribution, for instance data affected by corruptions. Previous works demonstrate that test-time adaptation to data shift, for instance using entropy minimization, effectively improves performance on such shifted distributions. This paper focuses on the fully test-time adaptation setting, where only unlabeled data from the target distribution is required. This allows adapting arbitrary pretrained networks. Specifically, we propose a novel loss that improves test-time adaptation by addressing both premature convergence and instability of entropy minimization. This is achieved by replacing the entropy by a non-saturating surrogate and adding a diversity regularizer based on batch-wise entropy maximization that prevents convergence to trivial collapsed solutions. Moreover, we propose to prepend an input transformation module to the network that can partially undo test-time distribution shifts. Surprisingly, this preprocessing can be learned solely using the fully test-time adaptation loss in an end-to-end fashion without any target domain labels or source domain data. We show that our approach outperforms previous work in improving the robustness of publicly available pretrained image classifiers to common corruptions on such challenging benchmarks as ImageNet-C.
• Abstract（参考訳）: ディープニューラルネットワークは、例えば腐敗によって影響を受けるデータなど、トレインタイムデータ分散下ではあり得ないデータのパフォーマンスが低いことが多い。 従来の研究では、例えばエントロピー最小化(entropy minimization)を用いたデータシフトに対するテスト時間適応は、そのようなシフトした分布の性能を効果的に改善することを示した。 本稿では,対象分布からのラベル付きデータのみを必要とする完全テスト時間適応設定に焦点をあてる。 これにより任意の事前学習ネットワークを適用できる。 具体的には,エントロピー最小化の早期収束と不安定性に対処し,テスト時間適応性を向上させる新しい損失を提案する。 これは、非飽和サロゲートによってエントロピーを置換し、簡単な崩壊解への収束を防止するバッチワイドエントロピー最大化に基づく多様性正規化器を追加することで達成される。 さらに,テスト時分布シフトを部分的に解除できる入力変換モジュールをネットワークに導入することを提案する。 驚いたことに、この前処理は、対象とするドメインラベルやソースドメインデータなしで、エンドツーエンドで完全にテスト時の適応損失を使用してのみ学習することができる。 提案手法は,imagenet-cのような難解なベンチマークにおいて,事前学習済み画像分類器のロバスト性向上に先行する手法である。

関連論文リスト

• Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach [14.958884168060097]
  オンライン自己学習によるテスト時間適応のための新しい手法を提案する。 提案手法は,マーチンガレットとオンライン学習の概念を組み合わせることで,分布変化に反応可能な検出ツールを構築する。 実験結果から, 分散シフト時のテスト時間精度は, 精度とキャリブレーションを保ちながら向上することが示された。
  論文  参考訳（メタデータ） (2024-08-14T12:40:57Z)
• Addressing Distribution Shift at Test Time in Pre-trained Language Models [3.655021726150369]
  State-of-the-the-art pre-trained Language Model (PLM)は、多くの言語処理タスクに適用された場合、他のモデルよりも優れている。 PLMは分散シフト下で性能が低下することが判明した。 本研究では,分散シフト下での試験時間におけるPLMの性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2022-12-05T16:04:54Z)
• Improving Test-Time Adaptation via Shift-agnostic Weight Regularization and Nearest Source Prototypes [18.140619966865955]
  本稿では,対象ドメインからの未ラベルのオンラインデータのみを用いて,ソースドメイン上で事前学習したモデルを調整する新しいテスト時間適応手法を提案する。 提案手法は,各種標準ベンチマークの最先端性能を示すとともに,教師付きベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-24T10:17:05Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Few-Shot Adaptation of Pre-Trained Networks for Domain Shift [17.123505029637055]
  深層ネットワークは、ソース(トレーニング)データとターゲット(テスト)データの間にドメインシフトがある場合、パフォーマンスが低下する傾向がある。 最近のテスト時間適応手法では,新たなターゲット環境にデプロイされた事前訓練されたソースモデルのバッチ正規化レイヤをストリームデータで更新することで,パフォーマンス劣化を軽減している。 データ効率適応の実践的課題に対処するために,少数ショット領域適応のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-30T16:49:59Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• SENTRY: Selective Entropy Optimization via Committee Consistency for Unsupervised Domain Adaptation [14.086066389856173]
  ランダムな画像変換の委員会の下で,予測整合性に基づいて対象インスタンスの信頼性を判定するUDAアルゴリズムを提案する。 提案アルゴリズムは,予測エントロピーを選択的に最小化し,高い一貫性のあるターゲットインスタンスに対する信頼度を高めるとともに,予測エントロピーを最大化し,高い一貫性の低いインスタンスに対する信頼度を低減する。 擬似ラベルに基づく近似的クラスバランスと組み合わせることで,標準的なUDAベンチマークや,ラベル分布シフト下でのストレス-テスト適応を目的としたベンチマークから,27/31ドメインシフトの最先端よりも大幅に向上した。
  論文  参考訳（メタデータ） (2020-12-21T16:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。