論文の概要: How to Use Dropout Correctly on Residual Networks with Batch Normalization

• arxiv url: http://arxiv.org/abs/2302.06112v1
• Date: Mon, 13 Feb 2023 05:39:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 16:34:19.785687
• Title: How to Use Dropout Correctly on Residual Networks with Batch Normalization
• Title（参考訳）: バッチ正規化による残差ネットワーク上でのドロップアウトの正しく使用方法
• Authors: Bum Jun Kim, Hyeyeon Choi, Hyeonah Jang, Donggeon Lee, Sang Woo Kim
• Abstract要約: バッチ正規化を伴う残留ネットワークでは、特定の位置にドロップアウトを適用することで性能が向上する。 他の位置にドロップアウトを適用すると、パフォーマンスが低下する。 現在のコンセンサスは、グローバル平均プールの後にドロップアウトを適用することであるが、グローバル平均プールよりも先にドロップアウトを適用することで、より安定した出力が得られることを証明している。
• 参考スコア（独自算出の注目度）: 7.26048113119806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For the stable optimization of deep neural networks, regularization methods such as dropout and batch normalization have been used in various tasks. Nevertheless, the correct position to apply dropout has rarely been discussed, and different positions have been employed depending on the practitioners. In this study, we investigate the correct position to apply dropout. We demonstrate that for a residual network with batch normalization, applying dropout at certain positions increases the performance, whereas applying dropout at other positions decreases the performance. Based on theoretical analysis, we provide the following guideline for the correct position to apply dropout: apply one dropout after the last batch normalization but before the last weight layer in the residual branch. We provide detailed theoretical explanations to support this claim and demonstrate them through module tests. In addition, we investigate the correct position of dropout in the head that produces the final prediction. Although the current consensus is to apply dropout after global average pooling, we prove that applying dropout before global average pooling leads to a more stable output. The proposed guidelines are validated through experiments using different datasets and models.
• Abstract（参考訳）: ディープニューラルネットワークの安定した最適化のために、ドロップアウトやバッチ正規化といった正規化手法が様々なタスクで使われている。 それにもかかわらず、ドロップアウト適用の正しい立場はめったに議論されておらず、実践者によって異なる立場が採用されている。 本研究では,ドロップアウトを適用すべき正しい位置について検討する。 バッチ正規化のある残差ネットワークでは,特定の位置にドロップアウトを施すと性能が向上するが,他の位置にドロップアウトを施すと性能が低下する。 理論的解析に基づき,最後のバッチ正規化の後に1回のドロップアウトを施すが,残枝の最後の重み付け層の前に1回のドロップアウトを施す。 この主張を支持するための詳細な理論的説明を提供し,モジュールテストを通じてそれを実証する。 また,最終的な予測を行う頭部の投下位置について検討する。 現在のコンセンサスは、グローバル平均プールの後にドロップアウトを適用することであるが、グローバル平均プールよりも先にドロップアウトを適用することで、より安定した出力が得られることを証明している。 提案したガイドラインは、異なるデータセットとモデルを用いた実験を通じて検証される。

関連論文リスト

• FlexiDrop: Theoretical Insights and Practical Advances in Random Dropout Method on GNNs [4.52430575477004]
  本稿ではFlexiDropと呼ばれるグラフニューラルネットワーク(GNN)のための新しいランダムドロップアウト手法を提案する。 本研究では, モデル複雑性と一般化能力のトレードオフを理論的にバランスさせることにより, ドロップアウト率を適応的に調整できることを示す。
  論文  参考訳（メタデータ） (2024-05-30T12:48:44Z)
• Dropout Reduces Underfitting [85.61466286688385]
  本研究は,トレーニング開始時の不適合を軽減できることを示す。 ドロップアウトは、ミニバッチ間の勾配の方向性のばらつきを低減し、データセット全体の勾配とミニバッチ勾配の整合を支援する。 この結果から,未適合モデルの性能向上のためのソリューションが得られた – 早期のドロップアウト – トレーニングの初期段階でのみドロップアウトが適用され,その後,オフになります。
  論文  参考訳（メタデータ） (2023-03-02T18:59:15Z)
• Dropout Injection at Test Time for Post Hoc Uncertainty Quantification in Neural Networks [5.487511963603429]
  本研究では, ドロップアウト注入が, 競合するポストホック不確実性定量化技術として効果的に動作することを示す。 本研究の主な貢献は、注入液滴の有効利用に関するガイドラインを提供することで、現在の組込み液滴の実用的代替となるようにすることである。
  論文  参考訳（メタデータ） (2023-02-06T16:56:53Z)
• Implicit regularization of dropout [3.42658286826597]
  一般的な正規化手法であるドロップアウトが、ニューラルネットワークトレーニング中に優れた一般化ソリューションを実現するのにどのように役立つかを理解することが重要である。 本研究では,一連の実験によって検証されたドロップアウトの暗黙の正則化の理論的導出について述べる。 降下によるトレーニングは、標準勾配降下訓練と比較して、より平坦な最小限のニューラルネットワークに導かれることを実験的に見出した。
  論文  参考訳（メタデータ） (2022-07-13T04:09:14Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Bayesian analysis of the prevalence bias: learning and predicting from imbalanced data [10.659348599372944]
  本稿では,モデル学習のための理論的および計算的枠組みと,有病率バイアスの存在下での予測について述べる。 原則的なトレーニング損失の代替として,要約曲線から操作点を選択することで,テスト時の手順を補完するものだ。 バックプロパゲーションを用いた(深い)学習の現在のパラダイムにシームレスに統合され、ベイズモデルと自然に結合する。
  論文  参考訳（メタデータ） (2021-07-31T14:36:33Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。