論文の概要: The Implicit and Explicit Regularization Effects of Dropout

• arxiv url: http://arxiv.org/abs/2002.12915v3
• Date: Thu, 15 Oct 2020 07:44:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 01:37:31.958935
• Title: The Implicit and Explicit Regularization Effects of Dropout
• Title（参考訳）: ドロップアウトの暗黙的および明示的正規化効果
• Authors: Colin Wei, Sham Kakade, Tengyu Ma
• Abstract要約: ドロップアウト(英: Dropout)は、多くのアーキテクチャの最先端を得るためにしばしば必要とされる、広く使われている正規化技術である。 この研究は、ドロップアウトが2つの異なるが絡み合った正規化効果をもたらすことを示した。
• 参考スコア（独自算出の注目度）: 43.431343291010734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dropout is a widely-used regularization technique, often required to obtain state-of-the-art for a number of architectures. This work demonstrates that dropout introduces two distinct but entangled regularization effects: an explicit effect (also studied in prior work) which occurs since dropout modifies the expected training objective, and, perhaps surprisingly, an additional implicit effect from the stochasticity in the dropout training update. This implicit regularization effect is analogous to the effect of stochasticity in small mini-batch stochastic gradient descent. We disentangle these two effects through controlled experiments. We then derive analytic simplifications which characterize each effect in terms of the derivatives of the model and the loss, for deep neural networks. We demonstrate these simplified, analytic regularizers accurately capture the important aspects of dropout, showing they faithfully replace dropout in practice.
• Abstract（参考訳）: ドロップアウトは広く使われている正規化技術であり、多くのアーキテクチャの最先端を得るためにしばしば必要とされる。 この研究は、ドロップアウトが2つの異なるが絡み合った正規化効果をもたらすことを示した: ドロップアウトから生じる明示的な効果(先行研究でも研究されている)は、期待されるトレーニング目標を変更する。 この暗黙の正規化効果は、小さなミニバッチ確率勾配降下における確率効果に類似している。 我々はこの2つの効果を制御実験によって解消する。 次に、深層ニューラルネットワークに対するモデルの導出と損失の観点から各効果を特徴づける解析的単純化を導出する。 これらの単純化された解析的正規化器は、ドロップアウトの重要な側面を正確に捉え、実際にドロップアウトを忠実に置き換えている。

関連論文リスト

• The Epochal Sawtooth Effect: Unveiling Training Loss Oscillations in Adam and Other Optimizers [8.770864706004472]
  テキストEpochal Sawtooth Effect (ESE) と呼ばれる繰り返し学習損失パターンを特定し解析する。 このパターンは、各エポックの始めに急激な損失が減少し、その後徐々に増加し、ソートゥース状の損失曲線が生じる。 Epochal Sawtooth 効果に繋がるメカニズムの詳細な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-14T00:51:21Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Stochastic Modified Equations and Dynamics of Dropout Algorithm [4.811269936680572]
  ドロップアウトはニューラルネットワークのトレーニングにおいて広く利用されている正規化技術である。 その基盤となるメカニズムと優れた能力を達成するための影響は、いまだに理解されていない。
  論文  参考訳（メタデータ） (2023-05-25T08:42:25Z)
• Dropout Reduces Underfitting [85.61466286688385]
  本研究は,トレーニング開始時の不適合を軽減できることを示す。 ドロップアウトは、ミニバッチ間の勾配の方向性のばらつきを低減し、データセット全体の勾配とミニバッチ勾配の整合を支援する。 この結果から,未適合モデルの性能向上のためのソリューションが得られた – 早期のドロップアウト – トレーニングの初期段階でのみドロップアウトが適用され,その後,オフになります。
  論文  参考訳（メタデータ） (2023-03-02T18:59:15Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Implicit regularization of dropout [3.42658286826597]
  一般的な正規化手法であるドロップアウトが、ニューラルネットワークトレーニング中に優れた一般化ソリューションを実現するのにどのように役立つかを理解することが重要である。 本研究では,一連の実験によって検証されたドロップアウトの暗黙の正則化の理論的導出について述べる。 降下によるトレーニングは、標準勾配降下訓練と比較して、より平坦な最小限のニューラルネットワークに導かれることを実験的に見出した。
  論文  参考訳（メタデータ） (2022-07-13T04:09:14Z)
• DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization [125.5448293005647]
  教師付き学習で見られるSGDの暗黙的な正則化効果が、オフラインの深いRLでは有害である可能性について論じる。 我々の理論的解析は、暗黙正則化の既存のモデルが時間差分学習に適用された場合、導出正規化器は退化解を好むことを示している。 我々は、この暗黙的正則化の望ましくない効果に対処する、DR3と呼ばれる単純で効果的な明示的正則化器を提案する。
  論文  参考訳（メタデータ） (2021-12-09T06:01:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。