論文の概要: Analytic theory of dropout regularization

• arxiv url: http://arxiv.org/abs/2505.07792v1
• Date: Mon, 12 May 2025 17:45:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.524714
• Title: Analytic theory of dropout regularization
• Title（参考訳）: ドロップアウト正則化の解析理論
• Authors: Francesco Mori, Francesca Mignacco,
• Abstract要約: ドロップアウト(Dropout)は、ニューラルネットワークのトレーニングに広く使用されている正規化技術である。 オンライン勾配降下法を訓練した2層ニューラルネットワークにおけるドロップアウトを解析的に研究した。
• 参考スコア（独自算出の注目度）: 1.243080988483032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dropout is a regularization technique widely used in training artificial neural networks to mitigate overfitting. It consists of dynamically deactivating subsets of the network during training to promote more robust representations. Despite its widespread adoption, dropout probabilities are often selected heuristically, and theoretical explanations of its success remain sparse. Here, we analytically study dropout in two-layer neural networks trained with online stochastic gradient descent. In the high-dimensional limit, we derive a set of ordinary differential equations that fully characterize the evolution of the network during training and capture the effects of dropout. We obtain a number of exact results describing the generalization error and the optimal dropout probability at short, intermediate, and long training times. Our analysis shows that dropout reduces detrimental correlations between hidden nodes, mitigates the impact of label noise, and that the optimal dropout probability increases with the level of noise in the data. Our results are validated by extensive numerical simulations.
• Abstract（参考訳）: Dropoutは、オーバーフィットを軽減するために、ニューラルネットワークのトレーニングに広く使用されている正規化技術である。 トレーニング中のネットワークの部分集合を動的に非活性化して、より堅牢な表現を促進する。 広く採用されているにもかかわらず、ドロップアウト確率はしばしばヒューリスティックに選択され、その成功に関する理論的説明は少ないままである。 そこで我々は,オンライン確率勾配降下法を用いて訓練した2層ニューラルネットワークのドロップアウトを解析的に研究した。 高次元極限では、トレーニング中のネットワークの進化を完全に特徴づける通常の微分方程式の集合を導出し、ドロップアウトの効果を捉える。 一般化誤差と,短期,中期,長期の学習時間における最適降雨確率を記述した多数の正確な結果を得る。 解析により, 隠れノード間の有害な相関を低減し, ラベルノイズの影響を軽減し, データのノイズレベルに応じて最適なドロップアウト確率が増加することが示された。 この結果は広範囲な数値シミュレーションによって検証された。

関連論文リスト

• FairDropout: Using Example-Tied Dropout to Enhance Generalization of Minority Groups [10.274236106456758]
  経験的リスク最小化で訓練されたモデルは、少数派からの事例を記憶しながら、多数派からの例をうまく一般化する傾向があることを示す。 本研究は、FairDropoutという手法として、この記憶を推論中に削除した特定のニューロンにリダイレクトすることを目的として、サンプルタイドドロップアウトを適用した。 視覚,言語,医療タスクを含むサブポピュレーション・ベンチマーク・スイートを用いて,FairDropoutを実証的に評価した。
  論文  参考訳（メタデータ） (2025-02-10T17:18:54Z)
• Y-Drop: A Conductance based Dropout for fully connected layers [63.029110722758496]
  我々は、より重要なニューロンを高い確率で落とすために、ドロップアウトアルゴリズムをバイアスする正規化手法Y-Dropを紹介する。 重要なユニットが存在しない場合、ネットワークにタスクの解決を強制することは、強い正規化効果をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-09-11T15:56:08Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Implicit regularization of dropout [3.42658286826597]
  一般的な正規化手法であるドロップアウトが、ニューラルネットワークトレーニング中に優れた一般化ソリューションを実現するのにどのように役立つかを理解することが重要である。 本研究では,一連の実験によって検証されたドロップアウトの暗黙の正則化の理論的導出について述べる。 降下によるトレーニングは、標準勾配降下訓練と比較して、より平坦な最小限のニューラルネットワークに導かれることを実験的に見出した。
  論文  参考訳（メタデータ） (2022-07-13T04:09:14Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)
• Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance [0.0]
  一般に、ニューラルネットワークは勾配型最適化法によって訓練される。 トレーニング開始時に損失関数は急速に低下するが,比較的少数のステップの後に著しく低下する。 本研究の目的は,高原現象の根本原因の同定と定量化である。
  論文  参考訳（メタデータ） (2020-07-14T17:33:26Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)
• The Implicit and Explicit Regularization Effects of Dropout [43.431343291010734]
  ドロップアウト(英: Dropout)は、多くのアーキテクチャの最先端を得るためにしばしば必要とされる、広く使われている正規化技術である。 この研究は、ドロップアウトが2つの異なるが絡み合った正規化効果をもたらすことを示した。
  論文  参考訳（メタデータ） (2020-02-28T18:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。