論文の概要: Cluster-Based Normalization Layer for Neural Networks

• arxiv url: http://arxiv.org/abs/2403.16798v2
• Date: Sat, 18 May 2024 15:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 22:50:58.277795
• Title: Cluster-Based Normalization Layer for Neural Networks
• Title（参考訳）: ニューラルネットワークのためのクラスタベース正規化層
• Authors: Bilal Faye, Hanane Azzag, Mustapha Lebbah,
• Abstract要約: クラスタベースの正規化(CB-Norm)は、先駆的な単一ステップ正規化戦略である。 CB-Normはバッチ正規化(BN)や混合正規化(MN)といった従来の正規化技術より優れている 本稿では,スーパーバイザードクラスタベース正規化 (SCB-Norm) とアン教師なしクラスタベース正規化 (UCB-Norm) の2つの変種について述べる。
• 参考スコア（独自算出の注目度）: 0.08192907805418585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning grapples with challenges in training neural networks, notably internal covariate shift and label shift. Conventional normalization techniques like Batch Normalization (BN) partially mitigate these issues but are hindered by constraints such as dependency on batch size and distribution assumptions. Similarly, mixture normalization (MN) encounters computational barriers in handling diverse Gaussian distributions. This paper introduces Cluster-based Normalization (CB-Norm), presenting two variants: Supervised Cluster-based Normalization (SCB-Norm) and Unsupervised Cluster-based Normalization (UCB-Norm), offering a pioneering single-step normalization strategy. CB-Norm employs a Gaussian mixture model to address gradient stability and learning acceleration challenges. SCB-Norm utilizes predefined data partitioning, termed clusters, for supervised normalization, while UCB-Norm adaptively clusters neuron activations during training, eliminating reliance on predefined partitions. This approach simultaneously tackles clustering and resolution tasks within neural networks, reducing computational complexity compared to existing methods. CB-Norm outperforms traditional techniques like BN and MN, enhancing neural network performance across diverse learning scenarios.
• Abstract（参考訳）: ディープラーニングは、ニューラルネットワークのトレーニング、特に内部共変量シフトとラベルシフトの課題に悩まされている。 バッチ正規化(BN)のような従来の正規化技術は、これらの問題を部分的に緩和するが、バッチサイズや分散仮定への依存のような制約によって妨げられる。 同様に、混合正規化(MN)は様々なガウス分布を扱う際の計算障壁に遭遇する。 本稿では,クラスタベース正規化(CB-Norm)を導入し,クラスタベース正規化(SCB-Norm)とクラスタベース正規化(UCB-Norm)の2つのバリエーションについて述べる。 CB-Normは勾配安定性と学習加速問題に対処するためにガウス混合モデルを採用している。 SCB-Normは、事前定義されたクラスタと呼ばれるデータパーティショニングを使用して正規化を監督し、UCB-Normはトレーニング中にニューロンの活性化を適応的にクラスタ化し、事前定義されたパーティショニングへの依存を排除している。 このアプローチは、ニューラルネットワーク内のクラスタリングと解決タスクに同時に取り組み、既存の方法と比較して計算複雑性を低減します。 CB-NormはBNやMNといった従来のテクニックよりも優れており、さまざまな学習シナリオでニューラルネットワークのパフォーマンスが向上している。

関連論文リスト

• Adaptative Context Normalization: A Boost for Deep Learning in Image Processing [0.07499722271664146]
  Adaptative Context Normalization (ACN)は、"context"の概念を導入した新しい教師付きアプローチである。 ACNはBNやMNと比較して速度、収束、優れた性能を保証する。
  論文  参考訳（メタデータ） (2024-09-07T08:18:10Z)
• Unsupervised Adaptive Normalization [0.07499722271664146]
  Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。 UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
  論文  参考訳（メタデータ） (2024-09-07T08:14:11Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
  我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。 制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。 私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
  論文  参考訳（メタデータ） (2023-06-15T08:33:52Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Breaking Time Invariance: Assorted-Time Normalization for RNNs [5.229616140749998]
  Assorted-Time Normalization (ATN) と呼ばれる正規化手法を提案する。 ATNは、複数の連続する時間ステップから情報を保存し、それらを使用して正規化する。 ATNをLNに適用した実験では,様々なタスクにおいて一貫した改善が示された。
  論文  参考訳（メタデータ） (2022-09-28T21:51:13Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Normalization Techniques in Training DNNs: Methodology, Analysis and Application [111.82265258916397]
  ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である 本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
  論文  参考訳（メタデータ） (2020-09-27T13:06:52Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。