論文の概要: NoMorelization: Building Normalizer-Free Models from a Sample's Perspective

• arxiv url: http://arxiv.org/abs/2210.06932v1
• Date: Thu, 13 Oct 2022 12:04:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 13:54:24.759969
• Title: NoMorelization: Building Normalizer-Free Models from a Sample's Perspective
• Title（参考訳）: NoMorelization: サンプルから見た正規化不要モデルの構築
• Authors: Chang Liu, Yuwen Yang, Yue Ding, Hongtao Lu
• Abstract要約: 我々は「NoMorelization」と呼ばれる正規化の単純かつ効果的な代替案を提案する。 NoMorelizationは2つのトレーニング可能なスカラーと0中心ノイズインジェクタで構成されている。 既存の主流正規化器と比較して、NoMorelizationは最高速度精度のトレードオフを示している。
• 参考スコア（独自算出の注目度）: 17.027460848621434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The normalizing layer has become one of the basic configurations of deep learning models, but it still suffers from computational inefficiency, interpretability difficulties, and low generality. After gaining a deeper understanding of the recent normalization and normalizer-free research works from a sample's perspective, we reveal the fact that the problem lies in the sampling noise and the inappropriate prior assumption. In this paper, we propose a simple and effective alternative to normalization, which is called "NoMorelization". NoMorelization is composed of two trainable scalars and a zero-centered noise injector. Experimental results demonstrate that NoMorelization is a general component for deep learning and is suitable for different model paradigms (e.g., convolution-based and attention-based models) to tackle different tasks (e.g., discriminative and generative tasks). Compared with existing mainstream normalizers (e.g., BN, LN, and IN) and state-of-the-art normalizer-free methods, NoMorelization shows the best speed-accuracy trade-off.
• Abstract（参考訳）: 正規化層は、ディープラーニングモデルの基本的な構成の1つとなっているが、それでも計算の非効率、解釈の困難、そして低い汎用性に苦しめられている。 近年の正規化・正規化・非正規化の研究を試料の視点からより深く理解した結果,サンプリングノイズと不適切な事前仮定に問題があることを明らかにした。 本稿では「NoMorelization」と呼ばれる正規化の簡易かつ効果的な代替案を提案する。 NoMorelizationは2つのトレーニング可能なスカラーと0中心ノイズインジェクタで構成されている。 実験の結果、NoMorelizationはディープラーニングの一般的なコンポーネントであり、異なるタスク(差別的タスクや生成的タスクなど)に取り組むために異なるモデルパラダイム(例えば、畳み込みベースのモデルや注意に基づくモデル)に適していることが示されている。 既存の主流正規化器(BN、LN、IN)や最先端の正規化器のない手法と比較すると、NoMorelizationは最高速度精度のトレードオフを示す。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Normality Learning-based Graph Anomaly Detection via Multi-Scale Contrastive Learning [61.57383634677747]
  グラフ異常検出(GAD)は、機械学習やデータマイニングにおいて注目を集めている。 本稿では,マルチスケールコントラスト学習ネットワーク(NLGAD,略語)による正規性学習に基づくGADフレームワークを提案する。 特に,提案アルゴリズムは,最先端手法と比較して検出性能(最大5.89%のAUCゲイン)を向上させる。
  論文  参考訳（メタデータ） (2023-09-12T08:06:04Z)
• HyperInvariances: Amortizing Invariance Learning [10.189246340672245]
  不変学習は高価で、一般的なニューラルネットワークにはデータ集約的です。 我々は、不変学習を償却する概念を導入する。 このフレームワークは、異なる下流タスクにおける適切な不変性を識別し、同等またはより良いテストパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-07-17T21:40:37Z)
• Explicit Regularization in Overparametrized Models via Noise Injection [14.492434617004932]
  簡単な有限次元モデルに対して、小さな摂動が明示的な正則化をもたらすことを示す。 実験により,小摂動がバニラ勾配降下訓練よりも一般化性能の向上につながることが示された。
  論文  参考訳（メタデータ） (2022-06-09T17:00:23Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition [34.235007566913396]
  ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。 バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。 我々はまた、著しく豊かな現象論も分析する。
  論文  参考訳（メタデータ） (2020-11-04T21:04:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。