論文の概要: Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization

• arxiv url: http://arxiv.org/abs/2010.05244v2
• Date: Tue, 10 Aug 2021 08:04:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 12:56:48.928729
• Title: Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization
• Title（参考訳）: Advanced Dropout: ベイジアンドロップアウト最適化のためのモデルフリー手法
• Authors: Jiyang Xie and Zhanyu Ma and and Jianjun Lei and Guoqiang Zhang and Jing-Hao Xue and Zheng-Hua Tan and Jun Guo
• Abstract要約: ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
• 参考スコア（独自算出の注目度）: 62.8384110757689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to lack of data, overfitting ubiquitously exists in real-world applications of deep neural networks (DNNs). We propose advanced dropout, a model-free methodology, to mitigate overfitting and improve the performance of DNNs. The advanced dropout technique applies a model-free and easily implemented distribution with parametric prior, and adaptively adjusts dropout rate. Specifically, the distribution parameters are optimized by stochastic gradient variational Bayes in order to carry out an end-to-end training. We evaluate the effectiveness of the advanced dropout against nine dropout techniques on seven computer vision datasets (five small-scale datasets and two large-scale datasets) with various base models. The advanced dropout outperforms all the referred techniques on all the datasets.We further compare the effectiveness ratios and find that advanced dropout achieves the highest one on most cases. Next, we conduct a set of analysis of dropout rate characteristics, including convergence of the adaptive dropout rate, the learned distributions of dropout masks, and a comparison with dropout rate generation without an explicit distribution. In addition, the ability of overfitting prevention is evaluated and confirmed. Finally, we extend the application of the advanced dropout to uncertainty inference, network pruning, text classification, and regression. The proposed advanced dropout is also superior to the corresponding referred methods. Codes are available at https://github.com/PRIS-CV/AdvancedDropout.
• Abstract（参考訳）: データ不足のため、ディープニューラルネットワーク(DNN)の現実的な応用には、ユビキタスなオーバーフィッティングが存在する。 我々は,DNNの性能向上と過度適合を緩和するモデルフリー手法であるAdvanced Dropoutを提案する。 高度なドロップアウト手法は、パラメトリックプリミティブを用いたモデルフリーで実装が容易な分散を適用し、ドロップアウトレートを適応的に調整する。 具体的には, 分布パラメータを確率的勾配変動ベイズにより最適化し, エンドツーエンドトレーニングを行う。 各種ベースモデルを用いて、7つのコンピュータビジョンデータセット(5つの小型データセットと2つの大規模データセット)に対する9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。 advanced dropoutは、すべてのデータセットで言及されているすべてのテクニックを上回り、有効性比をさらに比較し、ほとんどのケースでadvanced dropoutが最高値に達することを見出します。 次に,適応的投下率の収束,投下マスクの学習分布,明示的な分布を伴わない投下率生成との比較など,投下速度特性の解析を行う。 さらに、オーバーフィッティング防止能力を評価し、確認する。 最後に,不確実性推論,ネットワークプルーニング,テキスト分類,回帰に対する高度なドロップアウトの適用を拡張する。 提案する高度なドロップアウトは,参照する手法よりも優れている。 コードはhttps://github.com/pris-cv/advanceddropoutで入手できる。

関連論文リスト

• FlexiDrop: Theoretical Insights and Practical Advances in Random Dropout Method on GNNs [4.52430575477004]
  本稿ではFlexiDropと呼ばれるグラフニューラルネットワーク(GNN)のための新しいランダムドロップアウト手法を提案する。 本研究では, モデル複雑性と一般化能力のトレードオフを理論的にバランスさせることにより, ドロップアウト率を適応的に調整できることを示す。
  論文  参考訳（メタデータ） (2024-05-30T12:48:44Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Bi-Drop: Enhancing Fine-tuning Generalization via Synchronous sub-net Estimation and Optimization [58.90989478049686]
  Bi-Dropは、様々なサブネットからの勾配を使ってモデルパラメータを選択的に更新する微調整戦略である。 GLUEベンチマークの実験は、Bi-Dropが従来の微調整方法よりも一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-24T06:09:26Z)
• Dropout Reduces Underfitting [85.61466286688385]
  本研究は,トレーニング開始時の不適合を軽減できることを示す。 ドロップアウトは、ミニバッチ間の勾配の方向性のばらつきを低減し、データセット全体の勾配とミニバッチ勾配の整合を支援する。 この結果から,未適合モデルの性能向上のためのソリューションが得られた – 早期のドロップアウト – トレーニングの初期段階でのみドロップアウトが適用され,その後,オフになります。
  論文  参考訳（メタデータ） (2023-03-02T18:59:15Z)
• Training Deep Normalizing Flow Models in Highly Incomplete Data Scenarios with Prior Regularization [13.985534521589257]
  ハイパウシティシナリオにおけるデータ分布の学習を容易にする新しいフレームワークを提案する。 提案手法は,不完全データから学習過程を協調最適化タスクとして行うことに由来する。
  論文  参考訳（メタデータ） (2021-04-03T20:57:57Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。