論文の概要: Test-time Batch Normalization

• arxiv url: http://arxiv.org/abs/2205.10210v1
• Date: Fri, 20 May 2022 14:33:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 14:35:03.952743
• Title: Test-time Batch Normalization
• Title（参考訳）: テストタイムバッチ正規化
• Authors: Tao Yang, Shenglong Zhou, Yuwang Wang, Yan Lu, Nanning Zheng
• Abstract要約: ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。 トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。 本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
• 参考スコア（独自算出の注目度）: 61.292862024903584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks often suffer the data distribution shift between training and testing, and the batch statistics are observed to reflect the shift. In this paper, targeting of alleviating distribution shift in test time, we revisit the batch normalization (BN) in the training process and reveals two key insights benefiting test-time optimization: $(i)$ preserving the same gradient backpropagation form as training, and $(ii)$ using dataset-level statistics for robust optimization and inference. Based on the two insights, we propose a novel test-time BN layer design, GpreBN, which is optimized during testing by minimizing Entropy loss. We verify the effectiveness of our method on two typical settings with distribution shift, i.e., domain generalization and robustness tasks. Our GpreBN significantly improves the test-time performance and achieves the state of the art results.
• Abstract（参考訳）: ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに苦しむことが多く、バッチ統計はそのシフトを反映して観測される。 本稿では,テスト時間の分散シフトを軽減することを目的としたトレーニングプロセスにおけるバッチ正規化(BN)を再検討し,テスト時間最適化に有効な2つの重要な洞察を明らかにする。 (i)$トレーニングと同じ勾配バックプロパゲーションフォームを保存し、$ (ii)ロバストな最適化と推論のためにデータセットレベルの統計を使用する。 この2つの知見に基づいて,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。 分散シフトを伴う2つの典型的な設定,すなわちドメイン一般化とロバストネスタスクにおいて,本手法の有効性を検証する。 我々のGpreBNはテスト時間性能を著しく改善し、技術結果の状態を達成します。

関連論文リスト

• Discover Your Neighbors: Advanced Stable Test-Time Adaptation in Dynamic World [8.332531696256666]
  Discover Your Neighbours (DYN)は、動的テスト時間適応(TTA)に特化した最初の後方自由アプローチである。 我々のDYNは階層型インスタンス統計クラスタリング(LISC)とクラスタ対応バッチ正規化(CABN)で構成されています。 DYNのロバスト性と有効性を評価し、動的データストリームパターン下での維持性能を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-06-08T09:22:32Z)
• Optimization-Free Test-Time Adaptation for Cross-Person Activity Recognition [30.350005654271868]
  Test-Time Adaptationは、テストストリームを使用して、リアルタイムの推論で予測を調整することを目的としている。 計算コストが高いため、リソース制約のあるエッジデバイス上での動作が困難になる。 センサベースHARのための最適化自由テスト時間適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-28T02:20:33Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation [28.63285970880039]
  最近の試験時間適応法は, 逐次バッチ正規化(TBN)に大きく依存している テストバッチ統計を利用するTBNを採用することで、ドメインシフトによるパフォーマンス劣化が軽減される。 本稿では,各BN層のドメインシフト感度に応じて,CBNとTBNの重要度を調整し,統計を補間する新しいテスト時正規化法を提案する。
  論文  参考訳（メタデータ） (2023-02-10T10:25:29Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。