論文の概要: Unraveling Batch Normalization for Realistic Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2312.09486v3
• Date: Sat, 13 Apr 2024 09:00:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 22:57:53.086053
• Title: Unraveling Batch Normalization for Realistic Test-Time Adaptation
• Title（参考訳）: 実時間実時間適応のためのバッチ正規化の解法
• Authors: Zixian Su, Jingwei Guo, Kai Yao, Xi Yang, Qiufeng Wang, Kaizhu Huang,
• Abstract要約: 本稿では,ミニバッチ劣化問題について考察する。 バッチ正規化を解き放つことにより、不正確なターゲット統計は、バッチのクラス多様性が大幅に減少することに起因することが判明した。 テスト時間指数移動平均(TEMA)という簡単なツールを導入し、トレーニングとテストバッチ間のクラス多様性のギャップを埋める。
• 参考スコア（独自算出の注目度）: 22.126177142716188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent test-time adaptations exhibit efficacy by adjusting batch normalization to narrow domain disparities, their effectiveness diminishes with realistic mini-batches due to inaccurate target estimation. As previous attempts merely introduce source statistics to mitigate this issue, the fundamental problem of inaccurate target estimation still persists, leaving the intrinsic test-time domain shifts unresolved. This paper delves into the problem of mini-batch degradation. By unraveling batch normalization, we discover that the inexact target statistics largely stem from the substantially reduced class diversity in batch. Drawing upon this insight, we introduce a straightforward tool, Test-time Exponential Moving Average (TEMA), to bridge the class diversity gap between training and testing batches. Importantly, our TEMA adaptively extends the scope of typical methods beyond the current batch to incorporate a diverse set of class information, which in turn boosts an accurate target estimation. Built upon this foundation, we further design a novel layer-wise rectification strategy to consistently promote test-time performance. Our proposed method enjoys a unique advantage as it requires neither training nor tuning parameters, offering a truly hassle-free solution. It significantly enhances model robustness against shifted domains and maintains resilience in diverse real-world scenarios with various batch sizes, achieving state-of-the-art performance on several major benchmarks. Code is available at \url{https://github.com/kiwi12138/RealisticTTA}.
• Abstract（参考訳）: 近年の試験時間適応は、バッチ正規化を狭い領域差に調整することで有効性を示すが、その効果は、不正確なターゲット推定による現実的なミニバッチによって減少する。 これまでの試みでは、この問題を緩和するためにソース統計を導入するだけであったため、不正確なターゲット推定の根本的な問題は依然として続き、本質的なテスト時間領域のシフトは未解決のままである。 本稿では,ミニバッチ劣化問題について考察する。 バッチ正規化を解き放つことにより、不正確なターゲット統計は、バッチのクラス多様性が大幅に減少することに起因することが判明した。 この知見に基づいて、トレーニングとテストバッチの間のクラス間のギャップを埋めるために、テスト時間指数移動平均(TEMA)という簡単なツールを導入します。 重要なことに、私たちのTEMAは、現在のバッチを超えて典型的なメソッドの範囲を適応的に拡張し、多様なクラス情報を組み込むことで、それによって正確なターゲット推定が促進されます。 この基盤の上に構築された我々は、テスト時間性能を継続的に促進するための新しい階層的な修正戦略をさらに設計する。 提案手法はトレーニングもチューニングパラメータも必要とせず,真のハードルフリーなソリューションを提供するため,ユニークな利点がある。 シフトしたドメインに対するモデルロバスト性を大幅に向上させ、さまざまなバッチサイズを持つさまざまな実世界のシナリオでレジリエンスを維持し、いくつかの主要なベンチマークで最先端のパフォーマンスを達成する。 コードは \url{https://github.com/kiwi12138/RealisticTTA} で公開されている。

関連論文リスト

• Meta-TTT: A Meta-learning Minimax Framework For Test-Time Training [5.9631503543049895]
  テスト時ドメイン適応は、推論中に制限された未ラベルのターゲットデータに事前訓練されたモデルを適用することを目的とした、困難なタスクである。 本稿では,バッチ正規化レイヤ上でのテスト時間トレーニングを行うためのメタラーニングミニマックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:16:05Z)
• Singular Value Penalization and Semantic Data Augmentation for Fully Test-Time Adaptation [5.891527229524256]
  テスト時間適応(FTTA)は、テストフェーズ中にソースドメイン上でトレーニングされたモデルをターゲットドメインに適応させる。 本稿では,その分散を最小化しながら特異値の和を最大化することを提案する。 これにより、モデルがより小さな特異値に焦点を合わせ、より挑戦的なクラス間の差別性を高め、予測結果の多様性を効果的に増大させることができる。
  論文  参考訳（メタデータ） (2023-12-10T01:08:56Z)
• A Probabilistic Framework for Lifelong Test-Time Adaptation [34.07074915005366]
  テスト時間適応(TTA)は、異なるターゲットドメインから与えられたテスト入力(s)の推測時間で事前訓練されたソースモデルを更新する問題である。 PETAL(Probabilistic lifElong Test-time Adaptation with seLf-training prior)は,確率的アプローチを用いて生涯TTAを解決する。 本手法は, 様々なベンチマークにおいて, オンライン・ライフタイム・テスト・タイム・アダプティブの最先端技術よりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-12-19T18:42:19Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• A Balanced and Uncertainty-aware Approach for Partial Domain Adaptation [142.31610972922067]
  この研究は、特にターゲットドメインのクラスラベルがソースドメインのサブセットである場合に、教師なしのドメイン適応問題に対処する。 本稿では,ドメイン逆境学習に基づく新しいドメイン適応手法 BA$3$US を提案し,BAA(Ba balanced Adversarial Alignment)とAUS(Adaptive Uncertainty Suppression)の2つの新しい手法を提案する。 複数のベンチマーク実験の結果、BA$3$USが部分的なドメイン適応タスクの最先端を超越していることが示されている。
  論文  参考訳（メタデータ） (2020-03-05T11:37:06Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。