論文の概要: Patch-aware Batch Normalization for Improving Cross-domain Robustness

• arxiv url: http://arxiv.org/abs/2304.02848v2
• Date: Sun, 12 Nov 2023 13:02:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 22:03:56.683760
• Title: Patch-aware Batch Normalization for Improving Cross-domain Robustness
• Title（参考訳）: クロスドメインロバスト性向上のためのパッチアウェアバッチ正規化
• Authors: Lei Qi, Dongjia Zhao, Yinghuan Shi, Xin Geng
• Abstract要約: クロスドメインタスクは、トレーニングセットとテストセットが異なるディストリビューションに従うと、モデルのパフォーマンスが低下する課題を示す。 パッチ対応バッチ正規化(PBN)と呼ばれる新しい手法を提案する。 画像の局所的なパッチの違いを利用して、提案したPBNはモデルパラメータの堅牢性を効果的に向上させることができる。
• 参考スコア（独自算出の注目度）: 60.159546669021346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the significant success of deep learning in computer vision tasks, cross-domain tasks still present a challenge in which the model's performance will degrade when the training set and the test set follow different distributions. Most existing methods employ adversarial learning or instance normalization for achieving data augmentation to solve this task. In contrast, considering that the batch normalization (BN) layer may not be robust for unseen domains and there exist the differences between local patches of an image, we propose a novel method called patch-aware batch normalization (PBN). To be specific, we first split feature maps of a batch into non-overlapping patches along the spatial dimension, and then independently normalize each patch to jointly optimize the shared BN parameter at each iteration. By exploiting the differences between local patches of an image, our proposed PBN can effectively enhance the robustness of the model's parameters. Besides, considering the statistics from each patch may be inaccurate due to their smaller size compared to the global feature maps, we incorporate the globally accumulated statistics with the statistics from each batch to obtain the final statistics for normalizing each patch. Since the proposed PBN can replace the typical BN, it can be integrated into most existing state-of-the-art methods. Extensive experiments and analysis demonstrate the effectiveness of our PBN in multiple computer vision tasks, including classification, object detection, instance retrieval, and semantic segmentation.
• Abstract（参考訳）: コンピュータビジョンタスクにおけるディープラーニングの成功にもかかわらず、クロスドメインタスクは、トレーニングセットとテストセットが異なる分布に従うと、モデルのパフォーマンスが低下する課題をまだ示している。 既存の手法の多くは、この問題を解決するためにデータ拡張を達成するために、逆学習やインスタンス正規化を用いる。 対照的に、バッチ正規化(bn)層は未検出領域に対して頑健でなく、画像の局所パッチ間の違いが存在することを考慮し、パッチアウェアバッチ正規化(pbn)と呼ばれる新しい方法を提案する。 具体的には、まずバッチの特徴マップを空間次元に沿って重複しないパッチに分割し、各パッチを独立して正規化し、各イテレーションで共有bnパラメータを共同で最適化する。 画像の局所パッチ間の違いを生かすることにより,提案手法はモデルのパラメータのロバスト性を高めることができる。 さらに,各パッチからの統計は,グローバルな特徴マップに比べてサイズが小さいため不正確な場合があるため,各バッチの統計にグローバルに蓄積された統計情報を組み込んで,各パッチの正規化に関する最終的な統計値を得る。 提案されたPBNは典型的なBNを置き換えることができるため、既存のほとんどの最先端の手法に統合することができる。 広範な実験と分析により、分類、オブジェクト検出、インスタンス検索、セマンティクスセグメンテーションなど、複数のコンピュータビジョンタスクにおけるpbnの有効性が実証された。

関連論文リスト

• Supervised Batch Normalization [0.08192907805418585]
  バッチ正規化(BN)はニューラルネットワークで広く使われている手法である。 本稿では,先駆的アプローチであるSupervised Batch Normalization (SBN)を提案する。 我々はコンテキストをモードとして定義し、類似した特徴を持つデータを分類する。
  論文  参考訳（メタデータ） (2024-05-27T10:30:21Z)
• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• Generalizable Person Re-Identification via Self-Supervised Batch Norm Test-Time Adaption [63.7424680360004]
  Batch Norm Test-time Adaption (BNTA)は、BNパラメータを適応的に更新するための自己教師型戦略を適用する、新しいre-idフレームワークである。 BNTAは、推論前にラベル付けされていないターゲットデータ内のドメイン認識情報を探索し、BNによって正規化された特徴分布を変調してターゲットドメインに適応させる。
  論文  参考訳（メタデータ） (2022-03-01T18:46:32Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Separable Batch Normalization for Robust Facial Landmark Localization with Cross-protocol Network Training [41.82379935715916]
  大規模で多様でバランスの取れたトレーニングデータは、ディープニューラルネットワークトレーニングの成功の鍵です。 多様性とバランスの取れたトレーニングサンプルを持たない小さなデータセットは、ディープネットワークのトレーニングを効果的にサポートできない。 本稿では, 顔のランドマークのロバスト化のためのクロスプロトコールネットワークトレーニング(CNT)戦略を用いた, 分離型バッチ正規化(SepBN)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-01-17T13:04:06Z)
• Cross-Iteration Batch Normalization [67.83430009388678]
  本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
  論文  参考訳（メタデータ） (2020-02-13T18:52:57Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。