論文の概要: Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2006.12753v2
• Date: Tue, 7 Jul 2020 04:19:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 21:59:56.591359
• Title: Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction
• Title（参考訳）: 正しい正規化:クリックスルー率予測のためのディープニューラルネットワークモデルに対する正規化の影響を理解する
• Authors: Zhiqiang Wang, Qingyun She, PengTao Zhang, Junlin Zhang
• Abstract要約: 本研究では,LayerNormをベースとした新しい効果的な正規化手法を提案する。 正規化の分散が主な役割を担い、本研究に説明を与える。
• 参考スコア（独自算出の注目度）: 3.201333208812837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalization has become one of the most fundamental components in many deep neural networks for machine learning tasks while deep neural network has also been widely used in CTR estimation field. Among most of the proposed deep neural network models, few model utilize normalization approaches. Though some works such as Deep & Cross Network (DCN) and Neural Factorization Machine (NFM) use Batch Normalization in MLP part of the structure, there isn't work to thoroughly explore the effect of the normalization on the DNN ranking systems. In this paper, we conduct a systematic study on the effect of widely used normalization schemas by applying the various normalization approaches to both feature embedding and MLP part in DNN model. Extensive experiments are conduct on three real-world datasets and the experiment results demonstrate that the correct normalization significantly enhances model's performance. We also propose a new and effective normalization approaches based on LayerNorm named variance only LayerNorm(VO-LN) in this work. A normalization enhanced DNN model named NormDNN is also proposed based on the above-mentioned observation. As for the reason why normalization works for DNN models in CTR estimation, we find that the variance of normalization plays the main role and give an explanation in this work.
• Abstract（参考訳）: 正規化は、機械学習タスクのための多くのディープニューラルネットワークの最も基本的なコンポーネントの1つとなり、ディープニューラルネットワークはctr推定の分野でも広く使われている。 提案されているディープニューラルネットワークモデルのうち、正規化アプローチを利用するモデルはほとんどない。 ディープ・アンド・クロス・ネットワーク(DCN)やニューラルファクトリゼーション・マシン(NFM)といったいくつかの研究では、MLP部分でバッチ正規化が使用されているが、DNNランキングシステムに対する正規化の影響を徹底的に調べる作業は行われていない。 本稿では,dnnモデルにおける特徴埋め込み部分とmlp部分の両方に様々な正規化アプローチを適用し,広範に使用される正規化スキーマの効果を体系的に研究する。 大規模な実験は3つの実世界のデータセット上で行われ、実験結果は正しい正規化がモデルの性能を大幅に向上させることを示した。 また、本研究において、分散のみのLayerNorm(VO-LN)に基づく新しい効果的な正規化手法を提案する。 NormDNNと呼ばれる正規化強化DNNモデルも上記の観測結果に基づいて提案されている。 ctr推定におけるdnnモデルに正規化が作用する理由について,正規化の分散が主要な役割を果たすことを見出し,本研究で解説する。

関連論文リスト

• Unsupervised Adaptive Normalization [0.07499722271664146]
  Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。 UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
  論文  参考訳（メタデータ） (2024-09-07T08:14:11Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Neuron Coverage-Guided Domain Generalization [37.77033512313927]
  本稿では、ドメイン知識が利用できないドメイン一般化タスクに注目し、さらに悪いことに、1つのドメインからのサンプルのみをトレーニング中に利用することができる。 私たちの動機は、ディープニューラルネットワーク(DNN)テストの最近の進歩に由来し、DNNのニューロンカバレッジの最大化がDNNの潜在的な欠陥の探索に役立つことが示されています。
  論文  参考訳（メタデータ） (2021-02-27T14:26:53Z)
• Normalization Techniques in Training DNNs: Methodology, Analysis and Application [111.82265258916397]
  ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である 本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
  論文  参考訳（メタデータ） (2020-09-27T13:06:52Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。