論文の概要: Cluster-Based Normalization Layer for Neural Networks
- arxiv url: http://arxiv.org/abs/2403.16798v1
- Date: Mon, 25 Mar 2024 14:17:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 19:53:16.558350
- Title: Cluster-Based Normalization Layer for Neural Networks
- Title(参考訳): ニューラルネットワークのためのクラスタベース正規化層
- Authors: Bilal Faye, Hanane Azzag, Mustapha Lebbah,
- Abstract要約: 本稿では, クラスタベース正規化 (SCB-Norm) と非教師付きクラスタベース正規化 (UCB-Norm) の2つの変種におけるクラスタベース正規化 (CB-Norm) を紹介する。
CB-Normは、各混合成分(アクティベーション空間のクラスタ)のパラメータがディープニューラルネットワークの重みとなる1ステップの正規化アプローチを革新的に採用している。
この適応的なクラスタリングプロセスは、トレーニング中のディープニューラルネットワークタスクのクラスタリングと解決の両方に対処し、フィールドにおける顕著な進歩を示す。
- 参考スコア(独自算出の注目度): 0.08192907805418585
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning faces significant challenges during the training of neural networks, including internal covariate shift, label shift, vanishing/exploding gradients, overfitting, and computational complexity. While conventional normalization methods, such as Batch Normalization, aim to tackle some of these issues, they often depend on assumptions that constrain their adaptability. Mixture Normalization faces computational hurdles in its pursuit of handling multiple Gaussian distributions. This paper introduces Cluster-Based Normalization (CB-Norm) in two variants - Supervised Cluster-Based Normalization (SCB-Norm) and Unsupervised Cluster-Based Normalization (UCB-Norm) - proposing a groundbreaking one-step normalization approach. CB-Norm leverages a Gaussian mixture model to specifically address challenges related to gradient stability and learning acceleration. For SCB-Norm, a supervised variant, the novel mechanism involves introducing predefined data partitioning, termed clusters, to normalize activations based on the assigned cluster. This cluster-driven approach creates a space that conforms to a Gaussian mixture model. On the other hand, UCB-Norm, an unsupervised counterpart, dynamically clusters neuron activations during training, adapting to task-specific challenges without relying on predefined data partitions (clusters). This dual approach ensures flexibility in addressing diverse learning scenarios. CB-Norm innovatively uses a one-step normalization approach, where parameters of each mixture component (cluster in activation space) serve as weights for deep neural networks. This adaptive clustering process tackles both clustering and resolution of deep neural network tasks concurrently during training, signifying a notable advancement in the field.
- Abstract(参考訳): ディープラーニングは、内部共変量シフト、ラベルシフト、消失/露出勾配、オーバーフィッティング、計算複雑性など、ニューラルネットワークのトレーニングにおいて重大な課題に直面している。
バッチ正規化のような従来の正規化手法は、これらの問題のいくつかに取り組むことを目的としているが、それらは適応性を制限する仮定に依存することが多い。
Mixture Normalizationは、複数のガウス分布を扱うために計算ハードルに直面している。
本稿では, クラスタベース正規化 (CB-Norm) と, クラスタベース正規化 (UCB-Norm) の2つの変種について述べる。
CB-Normはガウス混合モデルを利用して、勾配安定性と学習加速度に関する問題に対処する。
教師付き変種であるSCB-Normでは、割り当てられたクラスタに基づいてアクティベーションを正規化するために、事前に定義されたデータパーティショニング(クラスタと呼ばれる)を導入する仕組みが導入された。
このクラスタ駆動のアプローチは、ガウス混合モデルに従う空間を生成する。
一方、教師なしのUCB-Normは、トレーニング中にニューロンの活性化を動的にクラスタし、事前に定義されたデータパーティション(クラスタ)に頼ることなく、タスク固有の課題に適応する。
この2つのアプローチは、多様な学習シナリオに対処する際の柔軟性を保証する。
CB-Normは、各混合成分(アクティベーション空間のクラスタ)のパラメータがディープニューラルネットワークの重みとなる1ステップの正規化アプローチを革新的に採用している。
この適応的なクラスタリングプロセスは、トレーニング中のディープニューラルネットワークタスクのクラスタリングと解決の両方に対処し、フィールドにおける顕著な進歩を示す。
関連論文リスト
- GCC: Generative Calibration Clustering [55.44944397168619]
本稿では,特徴学習と拡張をクラスタリングに組み込む新しいGCC法を提案する。
まず,実検体と実検体間の固有関係を識別する識別的特徴アライメント機構を開発する。
第二に、より信頼性の高いクラスタ割り当てを生成するための自己教師付きメトリック学習を設計する。
論文 参考訳(メタデータ) (2024-04-14T01:51:11Z) - CLUSTSEG: Clustering for Universal Segmentation [56.58677563046506]
CLUSTSEGは画像セグメンテーションのための一般的なトランスフォーマーベースのフレームワークである。
これは、統合されたニューラルクラスタリングスキームを通じて、異なるイメージセグメンテーションタスク(スーパーピクセル、セマンティック、インスタンス、パノプティクス)に取り組む。
論文 参考訳(メタデータ) (2023-05-03T15:31:16Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳(メタデータ) (2022-12-02T07:31:39Z) - Simplex Clustering via sBeta with Applications to Online Adjustment of
Black-Box Predictions [17.10067035969846]
我々はk-sBetasと呼ばれる新しい確率的クラスタリング手法を提案する。
クラスタリング分布の一般的な視点を提供し、歪みに基づく手法に基づく統計モデルでは十分説明できないことを強調する。
本定式化は,クラスタデータのモデリングにおける様々なパラメトリック密度を近似し,クラスタバランスバイアスの制御を可能にする。
論文 参考訳(メタデータ) (2022-07-30T18:29:11Z) - Streaming Inference for Infinite Non-Stationary Clustering [9.84413545378636]
非定常データの連続的なストリームから教師なしの方法で学習することは、知的なエージェントが直面する最も一般的で最も困難な設定の1つであることは間違いない。
ここでは、クラスタリング(混合モデリング)の文脈における3つの条件(教師なし、ストリーミング、非定常)の学習を攻撃する。
我々は、混合モデルに新しいクラスタをオンラインで作成できる新しいクラスタリングアルゴリズムを導入する。
論文 参考訳(メタデータ) (2022-05-02T21:05:18Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-12T06:11:16Z) - Neural Mixture Models with Expectation-Maximization for End-to-end Deep
Clustering [0.8543753708890495]
本稿では,ニューラルネットワークを用いた混合モデルに基づくクラスタリングを実現する。
我々は,Eステップとして前方パス,Mステップとして後方パスを動作させるバッチワイズEMイテレーションにより,ネットワークのエンドツーエンドをトレーニングする。
トレーニングされたネットワークは、k-meansに依存した単一ステージのディープクラスタリング手法よりも優れています。
論文 参考訳(メタデータ) (2021-07-06T08:00:58Z) - Intraclass clustering: an implicit learning ability that regularizes
DNNs [22.732204569029648]
ディープニューラルネットワークは,クラス間で有意義なクラスタを抽出する能力によって正規化されることを示す。
クラス内クラスタリングの尺度は、トレーニングデータのニューロンおよび層レベルの表現に基づいて設計される。
論文 参考訳(メタデータ) (2021-03-11T15:26:27Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳(メタデータ) (2020-02-20T15:43:02Z) - Contradictory Structure Learning for Semi-supervised Domain Adaptation [67.89665267469053]
現在の逆順応法は、クロスドメインの特徴を整列させようとする。
1)条件分布ミスマッチ、2)決定境界のソース領域へのバイアス。
本稿では,対向構造の学習を統一することで,半教師付きドメイン適応のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-06T22:58:20Z) - A Classification-Based Approach to Semi-Supervised Clustering with
Pairwise Constraints [5.639904484784126]
対制約付き半教師付きクラスタリングのためのネットワークフレームワークを提案する。
既存のアプローチとは対照的に、SSCを2つの単純な分類タスク/ステージに分解する。
提案手法であるS3C2は、二項分類がマルチクラスクラスタリングよりも容易であるという観察から動機づけられている。
論文 参考訳(メタデータ) (2020-01-18T20:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。