論文の概要: Cluster-Based Normalization Layer for Neural Networks

• arxiv url: http://arxiv.org/abs/2403.16798v2
• Date: Sat, 18 May 2024 15:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 22:50:58.277795
• Title: Cluster-Based Normalization Layer for Neural Networks
• Title（参考訳）: ニューラルネットワークのためのクラスタベース正規化層
• Authors: Bilal Faye, Hanane Azzag, Mustapha Lebbah,
• Abstract要約: クラスタベースの正規化(CB-Norm)は、先駆的な単一ステップ正規化戦略である。 CB-Normはバッチ正規化(BN)や混合正規化(MN)といった従来の正規化技術より優れている 本稿では,スーパーバイザードクラスタベース正規化 (SCB-Norm) とアン教師なしクラスタベース正規化 (UCB-Norm) の2つの変種について述べる。
• 参考スコア（独自算出の注目度）: 0.08192907805418585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning grapples with challenges in training neural networks, notably internal covariate shift and label shift. Conventional normalization techniques like Batch Normalization (BN) partially mitigate these issues but are hindered by constraints such as dependency on batch size and distribution assumptions. Similarly, mixture normalization (MN) encounters computational barriers in handling diverse Gaussian distributions. This paper introduces Cluster-based Normalization (CB-Norm), presenting two variants: Supervised Cluster-based Normalization (SCB-Norm) and Unsupervised Cluster-based Normalization (UCB-Norm), offering a pioneering single-step normalization strategy. CB-Norm employs a Gaussian mixture model to address gradient stability and learning acceleration challenges. SCB-Norm utilizes predefined data partitioning, termed clusters, for supervised normalization, while UCB-Norm adaptively clusters neuron activations during training, eliminating reliance on predefined partitions. This approach simultaneously tackles clustering and resolution tasks within neural networks, reducing computational complexity compared to existing methods. CB-Norm outperforms traditional techniques like BN and MN, enhancing neural network performance across diverse learning scenarios.
• Abstract（参考訳）: ディープラーニングは、ニューラルネットワークのトレーニング、特に内部共変量シフトとラベルシフトの課題に悩まされている。 バッチ正規化(BN)のような従来の正規化技術は、これらの問題を部分的に緩和するが、バッチサイズや分散仮定への依存のような制約によって妨げられる。 同様に、混合正規化(MN)は様々なガウス分布を扱う際の計算障壁に遭遇する。 本稿では,クラスタベース正規化(CB-Norm)を導入し,クラスタベース正規化(SCB-Norm)とクラスタベース正規化(UCB-Norm)の2つのバリエーションについて述べる。 CB-Normは勾配安定性と学習加速問題に対処するためにガウス混合モデルを採用している。 SCB-Normは、事前定義されたクラスタと呼ばれるデータパーティショニングを使用して正規化を監督し、UCB-Normはトレーニング中にニューロンの活性化を適応的にクラスタ化し、事前定義されたパーティショニングへの依存を排除している。 このアプローチは、ニューラルネットワーク内のクラスタリングと解決タスクに同時に取り組み、既存の方法と比較して計算複雑性を低減します。 CB-NormはBNやMNといった従来のテクニックよりも優れており、さまざまな学習シナリオでニューラルネットワークのパフォーマンスが向上している。

関連論文リスト

• Enabling Mixed Effects Neural Networks for Diverse, Clustered Data Using Monte Carlo Methods [9.035959289139102]
  混合効果ニューラルネットワーク(MENN)はクラスタ固有の「ランダム効果」とクラスタ不変の「固定効果」を分離する 本稿では,モンテカルロ法による一般化混合効果ニューラルネットワークの学習手法であるMC-GMENNを提案する。
  論文  参考訳（メタデータ） (2024-07-01T09:24:04Z)
• Normalization-Equivariant Neural Networks with Application to Image Denoising [3.591122855617648]
  本稿では,ニューラルネットの正規化-等分散が設計によって成り立つように適応する手法を提案する。 私たちの主張は、通常の畳み込み層だけでなく、すべての活性化関数も、ニューラルネットワークから完全に取り除くべきだということです。 画像復号化実験の結果、正規化等価ニューラルネットワークは、条件付けの改善に加えて、ノイズレベルをまたいだより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-06-08T08:42:08Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Kernel Normalized Convolutional Networks [15.997774467236352]
  しかし、BatchNormは小さなバッチサイズではパフォーマンスが悪く、差分プライバシーには適用できない。 我々はカーネルノームとカーネル正規化畳み込み層を提案し、カーネル正規化畳み込みネットワーク(KNConvNets)に組み込む。 KNConvNetsは、画像分類とセマンティックセグメンテーションにおいて、BatchNormのそれよりも高い、あるいは競合的なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-20T11:18:05Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。