Fugu-MT 論文翻訳(概要): Unsupervised Adaptive Normalization

論文の概要: Unsupervised Adaptive Normalization

arxiv url: http://arxiv.org/abs/2409.04757v1
Date: Sat, 7 Sep 2024 08:14:11 GMT
ステータス: 処理完了
システム内更新日: 2024-09-10 20:51:37.482095
Title: Unsupervised Adaptive Normalization
Title（参考訳）: 教師なし適応正規化
Authors: Bilal Faye, Hanane Azzag, Mustapha Lebbah, Fangchen Fang,
Abstract要約: Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。 UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
参考スコア（独自算出の注目度）: 0.07499722271664146
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep neural networks have become a staple in solving intricate problems, proving their mettle in a wide array of applications. However, their training process is often hampered by shifting activation distributions during backpropagation, resulting in unstable gradients. Batch Normalization (BN) addresses this issue by normalizing activations, which allows for the use of higher learning rates. Despite its benefits, BN is not without drawbacks, including its dependence on mini-batch size and the presumption of a uniform distribution of samples. To overcome this, several alternatives have been proposed, such as Layer Normalization, Group Normalization, and Mixture Normalization. These methods may still struggle to adapt to the dynamic distributions of neuron activations during the learning process. To bridge this gap, we introduce Unsupervised Adaptive Normalization (UAN), an innovative algorithm that seamlessly integrates clustering for normalization with deep neural network learning in a singular process. UAN executes clustering using the Gaussian mixture model, determining parameters for each identified cluster, by normalizing neuron activations. These parameters are concurrently updated as weights in the deep neural network, aligning with the specific requirements of the target task during backpropagation. This unified approach of clustering and normalization, underpinned by neuron activation normalization, fosters an adaptive data representation that is specifically tailored to the target task. This adaptive feature of UAN enhances gradient stability, resulting in faster learning and augmented neural network performance. UAN outperforms the classical methods by adapting to the target task and is effective in classification, and domain adaptation.
Abstract（参考訳）: ディープ・ニューラル・ネットワークは複雑な問題を解決し、広範囲のアプリケーションでその課題を証明している。しかしながら、それらのトレーニングプロセスは、バックプロパゲーション中に活性化分布をシフトさせることによって妨げられ、不安定な勾配をもたらす。バッチ正規化(BN)は、より高い学習率の使用を可能にするアクティベーションの正規化によってこの問題に対処する。その利点にもかかわらず、BNはミニバッチサイズへの依存やサンプルの均一分布の推定など、欠点を伴わない。これを解決するために、層正規化、群正規化、混合正規化などいくつかの代替案が提案されている。これらの方法は、学習過程におけるニューロンの活性化の動的分布に適応するのに依然として苦労する可能性がある。このギャップを埋めるために、我々はUnsupervised Adaptive Normalization (UAN)を導入しました。 UANはガウス混合モデルを用いてクラスタリングを行い、ニューロンの活性化を正規化する。これらのパラメータは、バックプロパゲーション中のターゲットタスクの特定の要求に合わせて、ディープニューラルネットワークの重みとして同時に更新される。このクラスタリングと正規化の統一的なアプローチは、ニューロンの活性化正規化に支えられ、特に目的のタスクに合わせて調整された適応データ表現を促進する。このUANの適応的機能は勾配安定性を高め、学習の高速化とニューラルネットワークの性能向上をもたらす。 UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。

関連論文リスト

Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
本稿では、適応LIFニューロンとそのネットワークの動的、計算的、および学習特性について分析する。適応LIFニューロンのネットワークの優越性は、複雑な時系列の予測と生成にまで及んでいることを示す。
論文参考訳（メタデータ） (2024-08-14T12:49:58Z)
Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
論文参考訳（メタデータ） (2023-07-01T13:47:09Z)
Normalization-Equivariant Neural Networks with Application to Image Denoising [3.591122855617648]
本稿では,ニューラルネットの正規化-等分散が設計によって成り立つように適応する手法を提案する。私たちの主張は、通常の畳み込み層だけでなく、すべての活性化関数も、ニューラルネットワークから完全に取り除くべきだということです。画像復号化実験の結果、正規化等価ニューラルネットワークは、条件付けの改善に加えて、ノイズレベルをまたいだより優れた一般化をもたらすことが示された。
論文参考訳（メタデータ） (2023-06-08T08:42:08Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
正規化法はノイズや入力の腐敗に関して脆弱性を増大させる本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文参考訳（メタデータ） (2021-10-05T11:36:25Z)
LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文参考訳（メタデータ） (2021-03-01T03:10:11Z)
Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction [3.201333208812837]
本研究では,LayerNormをベースとした新しい効果的な正規化手法を提案する。正規化の分散が主な役割を担い、本研究に説明を与える。
論文参考訳（メタデータ） (2020-06-23T04:35:22Z)
Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文参考訳（メタデータ） (2020-06-11T23:55:54Z)
Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。