論文の概要: Cluster-Based Normalization Layer for Neural Networks
- arxiv url: http://arxiv.org/abs/2403.16798v1
- Date: Mon, 25 Mar 2024 14:17:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 19:53:16.558350
- Title: Cluster-Based Normalization Layer for Neural Networks
- Title（参考訳）: ニューラルネットワークのためのクラスタベース正規化層
- Authors: Bilal Faye, Hanane Azzag, Mustapha Lebbah,
- Abstract要約: 本稿では, クラスタベース正規化 (SCB-Norm) と非教師付きクラスタベース正規化 (UCB-Norm) の2つの変種におけるクラスタベース正規化 (CB-Norm) を紹介する。
CB-Normは、各混合成分(アクティベーション空間のクラスタ)のパラメータがディープニューラルネットワークの重みとなる1ステップの正規化アプローチを革新的に採用している。
この適応的なクラスタリングプロセスは、トレーニング中のディープニューラルネットワークタスクのクラスタリングと解決の両方に対処し、フィールドにおける顕著な進歩を示す。
- 参考スコア（独自算出の注目度）: 0.08192907805418585
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning faces significant challenges during the training of neural networks, including internal covariate shift, label shift, vanishing/exploding gradients, overfitting, and computational complexity. While conventional normalization methods, such as Batch Normalization, aim to tackle some of these issues, they often depend on assumptions that constrain their adaptability. Mixture Normalization faces computational hurdles in its pursuit of handling multiple Gaussian distributions. This paper introduces Cluster-Based Normalization (CB-Norm) in two variants - Supervised Cluster-Based Normalization (SCB-Norm) and Unsupervised Cluster-Based Normalization (UCB-Norm) - proposing a groundbreaking one-step normalization approach. CB-Norm leverages a Gaussian mixture model to specifically address challenges related to gradient stability and learning acceleration. For SCB-Norm, a supervised variant, the novel mechanism involves introducing predefined data partitioning, termed clusters, to normalize activations based on the assigned cluster. This cluster-driven approach creates a space that conforms to a Gaussian mixture model. On the other hand, UCB-Norm, an unsupervised counterpart, dynamically clusters neuron activations during training, adapting to task-specific challenges without relying on predefined data partitions (clusters). This dual approach ensures flexibility in addressing diverse learning scenarios. CB-Norm innovatively uses a one-step normalization approach, where parameters of each mixture component (cluster in activation space) serve as weights for deep neural networks. This adaptive clustering process tackles both clustering and resolution of deep neural network tasks concurrently during training, signifying a notable advancement in the field.
- Abstract（参考訳）: ディープラーニングは、内部共変量シフト、ラベルシフト、消失/露出勾配、オーバーフィッティング、計算複雑性など、ニューラルネットワークのトレーニングにおいて重大な課題に直面している。
バッチ正規化のような従来の正規化手法は、これらの問題のいくつかに取り組むことを目的としているが、それらは適応性を制限する仮定に依存することが多い。
Mixture Normalizationは、複数のガウス分布を扱うために計算ハードルに直面している。
本稿では, クラスタベース正規化 (CB-Norm) と, クラスタベース正規化 (UCB-Norm) の2つの変種について述べる。
CB-Normはガウス混合モデルを利用して、勾配安定性と学習加速度に関する問題に対処する。
教師付き変種であるSCB-Normでは、割り当てられたクラスタに基づいてアクティベーションを正規化するために、事前に定義されたデータパーティショニング(クラスタと呼ばれる)を導入する仕組みが導入された。
このクラスタ駆動のアプローチは、ガウス混合モデルに従う空間を生成する。
一方、教師なしのUCB-Normは、トレーニング中にニューロンの活性化を動的にクラスタし、事前に定義されたデータパーティション(クラスタ)に頼ることなく、タスク固有の課題に適応する。
この2つのアプローチは、多様な学習シナリオに対処する際の柔軟性を保証する。
CB-Normは、各混合成分(アクティベーション空間のクラスタ)のパラメータがディープニューラルネットワークの重みとなる1ステップの正規化アプローチを革新的に採用している。
この適応的なクラスタリングプロセスは、トレーニング中のディープニューラルネットワークタスクのクラスタリングと解決の両方に対処し、フィールドにおける顕著な進歩を示す。
関連論文リスト
- Adaptative Context Normalization: A Boost for Deep Learning in Image Processing [0.07499722271664146]
Adaptative Context Normalization (ACN)は、"context"の概念を導入した新しい教師付きアプローチである。
ACNはBNやMNと比較して速度、収束、優れた性能を保証する。
論文 参考訳（メタデータ） (2024-09-07T08:18:10Z) - Unsupervised Adaptive Normalization [0.07499722271664146]
Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。
UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
論文 参考訳（メタデータ） (2024-09-07T08:14:11Z) - NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。
本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。
テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
論文 参考訳（メタデータ） (2023-07-25T13:35:45Z) - Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。
制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。
私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
論文 参考訳（メタデータ） (2023-06-15T08:33:52Z) - Context Normalization Layer with Applications [0.1499944454332829]
本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。
各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。
文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
論文 参考訳（メタデータ） (2023-03-14T06:38:17Z) - Breaking Time Invariance: Assorted-Time Normalization for RNNs [5.229616140749998]
Assorted-Time Normalization (ATN) と呼ばれる正規化手法を提案する。
ATNは、複数の連続する時間ステップから情報を保存し、それらを使用して正規化する。
ATNをLNに適用した実験では,様々なタスクにおいて一貫した改善が示された。
論文 参考訳（メタデータ） (2022-09-28T21:51:13Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - Normalization Techniques in Training DNNs: Methodology, Analysis and
Application [111.82265258916397]
ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である
本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
論文 参考訳（メタデータ） (2020-09-27T13:06:52Z) - Optimization Theory for ReLU Neural Networks Trained with Normalization
Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。
我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文 参考訳（メタデータ） (2020-06-11T23:55:54Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳（メタデータ） (2020-06-11T16:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。