論文の概要: TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2302.05155v1
• Date: Fri, 10 Feb 2023 10:25:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-02-13 16:02:10.434573
• Title: TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation
• Title（参考訳）: TTN:テスト時間適応におけるドメインシフト対応バッチ正規化
• Authors: Hyesu Lim, Byeonggeun Kim, Jaegul Choo, Sungha Choi
• Abstract要約: 最近の試験時間適応法は, 逐次バッチ正規化(TBN)に大きく依存している テストバッチ統計を利用するTBNを採用することで、ドメインシフトによるパフォーマンス劣化が軽減される。 本稿では,各BN層のドメインシフト感度に応じて,CBNとTBNの重要度を調整し,統計を補間する新しいテスト時正規化法を提案する。
• 参考スコア（独自算出の注目度）: 28.63285970880039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a novel batch normalization strategy for test-time adaptation. Recent test-time adaptation methods heavily rely on the modified batch normalization, i.e., transductive batch normalization (TBN), which calculates the mean and the variance from the current test batch rather than using the running mean and variance obtained from the source data, i.e., conventional batch normalization (CBN). Adopting TBN that employs test batch statistics mitigates the performance degradation caused by the domain shift. However, re-estimating normalization statistics using test data depends on impractical assumptions that a test batch should be large enough and be drawn from i.i.d. stream, and we observed that the previous methods with TBN show critical performance drop without the assumptions. In this paper, we identify that CBN and TBN are in a trade-off relationship and present a new test-time normalization (TTN) method that interpolates the statistics by adjusting the importance between CBN and TBN according to the domain-shift sensitivity of each BN layer. Our proposed TTN improves model robustness to shifted domains across a wide range of batch sizes and in various realistic evaluation scenarios. TTN is widely applicable to other test-time adaptation methods that rely on updating model parameters via backpropagation. We demonstrate that adopting TTN further improves their performance and achieves state-of-the-art performance in various standard benchmarks.
• Abstract（参考訳）: 本稿では,テスト時間適応のためのバッチ正規化手法を提案する。 近年の試験時間適応法は改良されたバッチ正規化(TBN)に大きく依存しており、従来のバッチ正規化(CBN)はソースデータから得られた実行平均と分散を利用するのではなく、現在のテストバッチからの平均と分散を計算する。 テストバッチ統計を用いたTBNの採用は、ドメインシフトによるパフォーマンス劣化を軽減する。 しかしながら、テストデータを用いた正規化統計の再見積は、テストバッチがi.i.d.ストリームから引き出すのに十分な大きさでなければならないという非現実的な仮定に依存している。 本稿では,CBN と TBN がトレードオフ関係にあることを確認し,各 BN 層のドメインシフト感度に応じて CBN と TBN の重要度を調整することで統計を補間するテスト時正規化(TTN)法を提案する。 提案するttnは、広範囲のバッチサイズおよび様々な現実的な評価シナリオにおいて、シフトドメインのモデルロバスト性を改善する。 ttnはバックプロパゲーションによるモデルパラメータの更新に依存する他のテスト時間適応法にも広く適用できる。 我々は,TTNの採用によりパフォーマンスが向上し,様々な標準ベンチマークで最先端のパフォーマンスが達成されることを示した。

関連論文リスト

• Optimization-Free Test-Time Adaptation for Cross-Person Activity Recognition [30.350005654271868]
  Test-Time Adaptationは、テストストリームを使用して、リアルタイムの推論で予測を調整することを目的としている。 計算コストが高いため、リソース制約のあるエッジデバイス上での動作が困難になる。 センサベースHARのための最適化自由テスト時間適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-28T02:20:33Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• Test-time Batch Normalization [61.292862024903584]
  ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。 トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。 本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
  論文  参考訳（メタデータ） (2022-05-20T14:33:39Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。