論文の概要: Investigating the Relationship Between Dropout Regularization and Model Complexity in Neural Networks

• arxiv url: http://arxiv.org/abs/2108.06628v1
• Date: Sat, 14 Aug 2021 23:49:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 05:17:57.326260
• Title: Investigating the Relationship Between Dropout Regularization and Model Complexity in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるドロップアウト正規化とモデルの複雑さの関係
• Authors: Christopher Sun, Jai Sharma, and Milind Maiti
• Abstract要約: ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。 2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。 各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dropout Regularization, serving to reduce variance, is nearly ubiquitous in Deep Learning models. We explore the relationship between the dropout rate and model complexity by training 2,000 neural networks configured with random combinations of the dropout rate and the number of hidden units in each dense layer, on each of the three data sets we selected. The generated figures, with binary cross entropy loss and binary accuracy on the z-axis, question the common assumption that adding depth to a dense layer while increasing the dropout rate will certainly enhance performance. We also discover a complex correlation between the two hyperparameters that we proceed to quantify by building additional machine learning and Deep Learning models which predict the optimal dropout rate given some hidden units in each dense layer. Linear regression and polynomial logistic regression require the use of arbitrary thresholds to select the cost data points included in the regression and to assign the cost data points a binary classification, respectively. These machine learning models have mediocre performance because their naive nature prevented the modeling of complex decision boundaries. Turning to Deep Learning models, we build neural networks that predict the optimal dropout rate given the number of hidden units in each dense layer, the desired cost, and the desired accuracy of the model. Though, this attempt encounters a mathematical error that can be attributed to the failure of the vertical line test. The ultimate Deep Learning model is a neural network whose decision boundary represents the 2,000 previously generated data points. This final model leads us to devise a promising method for tuning hyperparameters to minimize computational expense yet maximize performance. The strategy can be applied to any model hyperparameters, with the prospect of more efficient tuning in industrial models.
• Abstract（参考訳）: 分散を減らすのに役立つDropout Regularizationは、ディープラーニングモデルではほぼどこでも利用できる。 本研究では、3つのデータセットそれぞれについて、ドロップアウトレートと密集層内の隠れ単位数をランダムに組み合わせて構成した2000のニューラルネットワークをトレーニングすることにより、ドロップアウトレートとモデルの複雑さの関係を考察する。 二つのクロスエントロピー損失とz軸上の二乗精度を持つ生成した数値は、降下率を高めながら密度層に深さを加えるという一般的な仮定に疑問を呈する。 また,この2つのハイパーパラメータの複雑な相関関係を,各密層に隠れた単位が与えられた場合の最適脱落率を予測する機械学習モデルと深層学習モデルを構築し,定量化を進める。 線形回帰と多項式ロジスティック回帰は、回帰に含まれるコストデータポイントをそれぞれ選択し、コストデータポイントをバイナリ分類に割り当てるために任意のしきい値を使用する必要がある。 これらの機械学習モデルは、その素質が複雑な決定境界のモデリングを妨げたため、中間性能を有する。 ディープラーニングモデルに目を向けると、各密層内の隠れ単位数、所望のコスト、モデルの所望の精度を考慮して、最適なドロップアウト率を予測するニューラルネットワークを構築する。 しかし、この試みは垂直線試験の失敗に起因した数学的誤りに遭遇する。 究極のディープラーニングモデルは、決定境界が2000の以前に生成されたデータポイントを表すニューラルネットワークである。 この最終モデルは,計算コストを最小限に抑えつつ性能を最大化するために,ハイパーパラメータをチューニングするための有望な手法を考案する。 この戦略は任意のモデルハイパーパラメータに適用でき、工業モデルのより効率的なチューニングが期待できる。

関連論文リスト

• Optimizing Dense Feed-Forward Neural Networks [0.0]
  本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。 提案手法では,パラメータ数を70%以上圧縮できる。 また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T23:23:16Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Expressive variational quantum circuits provide inherent privacy in federated learning [2.3255115473995134]
  フェデレーション学習は、中央アグリゲータとデータを共有する必要なく、機械学習モデルをトレーニングするための実行可能なソリューションとして登場した。 標準的なニューラルネットワークベースのフェデレーション学習モデルは、サーバと共有される勾配からデータ漏洩の影響を受けやすいことが示されている。 表現的マップは、勾配反転攻撃に対する固有のプライバシーにつながることを示す。
  論文  参考訳（メタデータ） (2023-09-22T17:04:50Z)
• A Deep Dive into the Connections Between the Renormalization Group and Deep Learning in the Ising Model [0.0]
  再正規化群(Renormalization group、RG)は、統計物理学と量子場理論において必須の手法である。 本研究では, 1D と 2D Ising モデルに対する広範な再正規化手法を開発し, 比較のためのベースラインを提供する。 2次元イジングモデルでは、Wolffアルゴリズムを用いてIsingモデルサンプルを生成し、準決定論的手法を用いてグループフローを実行した。
  論文  参考訳（メタデータ） (2023-08-21T22:50:54Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
  機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。 複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。 情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:15:54Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。