論文の概要: Test-time Batch Statistics Calibration for Covariate Shift

• arxiv url: http://arxiv.org/abs/2110.04065v1
• Date: Wed, 6 Oct 2021 08:45:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-11 13:37:57.252071
• Title: Test-time Batch Statistics Calibration for Covariate Shift
• Title（参考訳）: 共変量シフトのためのテスト時間バッチ統計校正
• Authors: Fuming You, Jingjing Li, Zhou Zhao
• Abstract要約: 我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
• 参考スコア（独自算出の注目度）: 66.7044675981449
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have a clear degradation when applying to the unseen environment due to the covariate shift. Conventional approaches like domain adaptation requires the pre-collected target data for iterative training, which is impractical in real-world applications. In this paper, we propose to adapt the deep models to the novel environment during inference. An previous solution is test time normalization, which substitutes the source statistics in BN layers with the target batch statistics. However, we show that test time normalization may potentially deteriorate the discriminative structures due to the mismatch between target batch statistics and source parameters. To this end, we present a general formulation $\alpha$-BN to calibrate the batch statistics by mixing up the source and target statistics for both alleviating the domain shift and preserving the discriminative structures. Based on $\alpha$-BN, we further present a novel loss function to form a unified test time adaptation framework Core, which performs the pairwise class correlation online optimization. Extensive experiments show that our approaches achieve the state-of-the-art performance on total twelve datasets from three topics, including model robustness to corruptions, domain generalization on image classification and semantic segmentation. Particularly, our $\alpha$-BN improves 28.4\% to 43.9\% on GTA5 $\rightarrow$ Cityscapes without any training, even outperforms the latest source-free domain adaptation method.
• Abstract（参考訳）: 深層ニューラルネットワークは,共変量シフトにより,未知の環境に適用すると明らかに劣化する。 ドメイン適応のような従来のアプローチでは、実世界のアプリケーションでは実用的でない反復トレーニングのために事前に収集されたターゲットデータを必要とする。 本稿では,推論中に深層モデルを新しい環境に適応させる手法を提案する。 以前の解決策はテスト時間正規化であり、BN層のソース統計をターゲットのバッチ統計に置き換えるものである。 しかし,テスト時間正規化は,対象のバッチ統計値とソースパラメータとのミスマッチにより識別構造が劣化する可能性が示唆された。 そこで本論文では,ドメインシフトの緩和と識別構造保存の両面において,ソースとターゲット統計を混合することにより,バッチ統計を校正するための一般的な定式化として$\alpha$-BNを提案する。 さらに、$\alpha$-bnに基づいて、ペアワイズクラス相関オンライン最適化を実行する統一テスト時間適応フレームワークコアを形成するための新しい損失関数を提案する。 大規模な実験により,画像分類とセマンティックセグメンテーションの領域一般化など,3つのトピックから得られた12のデータセットの最先端性能が得られた。 特に、我々の$\alpha$-bnは、トレーニングなしで、gta5$\rightarrow$ cityscapesで28.4\%から43.9\%に改善します。

関連論文リスト

• Discover Your Neighbors: Advanced Stable Test-Time Adaptation in Dynamic World [8.332531696256666]
  Discover Your Neighbours (DYN)は、動的テスト時間適応(TTA)に特化した最初の後方自由アプローチである。 我々のDYNは階層型インスタンス統計クラスタリング(LISC)とクラスタ対応バッチ正規化(CABN)で構成されています。 DYNのロバスト性と有効性を評価し、動的データストリームパターン下での維持性能を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-06-08T09:22:32Z)
• Unraveling Batch Normalization for Realistic Test-Time Adaptation [22.126177142716188]
  本稿では,ミニバッチ劣化問題について考察する。 バッチ正規化を解き放つことにより、不正確なターゲット統計は、バッチのクラス多様性が大幅に減少することに起因することが判明した。 テスト時間指数移動平均(TEMA)という簡単なツールを導入し、トレーニングとテストバッチ間のクラス多様性のギャップを埋める。
  論文  参考訳（メタデータ） (2023-12-15T01:52:35Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Test-time Batch Normalization [61.292862024903584]
  ディープニューラルネットワークは、トレーニングとテストの間のデータ分散シフトに悩まされることが多い。 トレーニングプロセスにおけるバッチ正規化(BN)を再検討し、テスト時の最適化に有効な2つの重要な洞察を明らかにします。 本稿では,エントロピー損失を最小限に抑えて,テスト中に最適化された新しいBN層設計GpreBNを提案する。
  論文  参考訳（メタデータ） (2022-05-20T14:33:39Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。