論文の概要: Supervised Batch Normalization

• arxiv url: http://arxiv.org/abs/2405.17027v1
• Date: Mon, 27 May 2024 10:30:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 16:01:56.409859
• Title: Supervised Batch Normalization
• Title（参考訳）: スーパービジョンバッチ正規化
• Authors: Bilal Faye, Mustapha Lebbah, Hanane Azzag,
• Abstract要約: バッチ正規化(BN)はニューラルネットワークで広く使われている手法である。 本稿では,先駆的アプローチであるSupervised Batch Normalization (SBN)を提案する。 我々はコンテキストをモードとして定義し、類似した特徴を持つデータを分類する。
• 参考スコア（独自算出の注目度）: 0.08192907805418585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Batch Normalization (BN), a widely-used technique in neural networks, enhances generalization and expedites training by normalizing each mini-batch to the same mean and variance. However, its effectiveness diminishes when confronted with diverse data distributions. To address this challenge, we propose Supervised Batch Normalization (SBN), a pioneering approach. We expand normalization beyond traditional single mean and variance parameters, enabling the identification of data modes prior to training. This ensures effective normalization for samples sharing common features. We define contexts as modes, categorizing data with similar characteristics. These contexts are explicitly defined, such as domains in domain adaptation or modalities in multimodal systems, or implicitly defined through clustering algorithms based on data similarity. We illustrate the superiority of our approach over BN and other commonly employed normalization techniques through various experiments on both single and multi-task datasets. Integrating SBN with Vision Transformer results in a remarkable \textit{15.13}\% accuracy enhancement on CIFAR-100. Additionally, in domain adaptation scenarios, employing AdaMatch demonstrates an impressive \textit{22.25}\% accuracy improvement on MNIST and SVHN compared to BN.
• Abstract（参考訳）: ニューラルネットワークで広く使われている技術であるバッチ正規化(BN)は、各ミニバッチを同じ平均値と分散値に正規化することにより、一般化と迅速なトレーニングを促進する。 しかし、その効果は多様なデータ分布に直面したときに減少する。 この課題に対処するため,先駆的アプローチであるSupervised Batch Normalization (SBN)を提案する。 従来の単一平均値と分散パラメータを超えて正規化を拡大し、トレーニング前にデータモードの識別を可能にします。 これにより、共通の特徴を共有するサンプルの効果的な正規化が保証される。 我々はコンテキストをモードとして定義し、類似した特徴を持つデータを分類する。 これらのコンテキストは、ドメイン適応のドメインやマルチモーダルシステムのモダリティ、あるいはデータ類似性に基づいたクラスタリングアルゴリズムによって暗黙的に定義されるなど、明示的に定義されている。 本稿では,BN に対するアプローチの優位性を,単一およびマルチタスクのデータセット上での様々な実験を通じて示す。 Vision Transformer と SBN を統合すると、CIFAR-100 上で顕著な \textit{15.13}\% の精度向上が得られる。 さらに、ドメイン適応のシナリオでは、AdaMatchを使用すると、BNと比較してMNISTとSVHNの精度が著しく向上する。

関連論文リスト

• Discover Your Neighbors: Advanced Stable Test-Time Adaptation in Dynamic World [8.332531696256666]
  Discover Your Neighbours (DYN)は、動的テスト時間適応(TTA)に特化した最初の後方自由アプローチである。 我々のDYNは階層型インスタンス統計クラスタリング(LISC)とクラスタ対応バッチ正規化(CABN)で構成されています。 DYNのロバスト性と有効性を評価し、動的データストリームパターン下での維持性能を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-06-08T09:22:32Z)
• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• RegBN: Batch Normalization of Multimodal Data with Regularization [5.293979881130494]
  本稿では、RegBNと呼ばれるマルチモーダルデータの正規化のための新しいアプローチを提案する。 RegBNはFrobeniusのノルムを正規化用語として使用して、共同創設者の副作用と、異なるデータソース間の基盤となる依存関係に対処している。 5つの研究領域の8つのデータベース上でRegBNの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-01T11:05:45Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• Single Domain Generalization via Normalised Cross-correlation Based Convolutions [14.306250516592304]
  単一ドメインの一般化は、単一のソースからのデータを使用して堅牢なモデルをトレーニングすることを目的としている。 本稿では、重みと入力特徴パッチの間の正規化相互相関を計算するXCNormという演算子を提案する。 この演算子で構成されるディープニューラルネットワークは、一般的な意味分布シフトに対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-07-12T04:15:36Z)
• Patch-aware Batch Normalization for Improving Cross-domain Robustness [60.159546669021346]
  クロスドメインタスクは、トレーニングセットとテストセットが異なるディストリビューションに従うと、モデルのパフォーマンスが低下する課題を示す。 パッチ対応バッチ正規化(PBN)と呼ばれる新しい手法を提案する。 画像の局所的なパッチの違いを利用して、提案したPBNはモデルパラメータの堅牢性を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-04-06T03:25:42Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Generalizable Person Re-Identification via Self-Supervised Batch Norm Test-Time Adaption [63.7424680360004]
  Batch Norm Test-time Adaption (BNTA)は、BNパラメータを適応的に更新するための自己教師型戦略を適用する、新しいre-idフレームワークである。 BNTAは、推論前にラベル付けされていないターゲットデータ内のドメイン認識情報を探索し、BNによって正規化された特徴分布を変調してターゲットドメインに適応させる。
  論文  参考訳（メタデータ） (2022-03-01T18:46:32Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。