論文の概要: Dropout: Explicit Forms and Capacity Control

• arxiv url: http://arxiv.org/abs/2003.03397v1
• Date: Fri, 6 Mar 2020 19:10:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 00:54:40.944958
• Title: Dropout: Explicit Forms and Capacity Control
• Title（参考訳）: dropout: 明示的なフォームとキャパシティコントロール
• Authors: Raman Arora, Peter Bartlett, Poorya Mianjy, Nathan Srebro
• Abstract要約: 各種機械学習問題におけるドロップアウトによるキャパシティ制御について検討する。 ディープラーニングでは、ドロップアウトによるデータ依存型正規化器が、基礎となるディープニューラルネットワークのクラスであるRademacherの複雑さを直接制御していることを示す。 MovieLens, MNIST, Fashion-MNISTなどの実世界のデータセットに関する理論的知見を評価する。
• 参考スコア（独自算出の注目度）: 57.36692251815882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the capacity control provided by dropout in various machine learning problems. First, we study dropout for matrix completion, where it induces a data-dependent regularizer that, in expectation, equals the weighted trace-norm of the product of the factors. In deep learning, we show that the data-dependent regularizer due to dropout directly controls the Rademacher complexity of the underlying class of deep neural networks. These developments enable us to give concrete generalization error bounds for the dropout algorithm in both matrix completion as well as training deep neural networks. We evaluate our theoretical findings on real-world datasets, including MovieLens, MNIST, and Fashion-MNIST.
• Abstract（参考訳）: 各種機械学習問題におけるドロップアウトによるキャパシティ制御について検討する。 まず, 行列完全化のためのドロップアウトについて検討し, 期待値において因子の積の重み付きトレースノルムと等しいデータ依存正規化子を誘導する。 ディープラーニングでは、ドロップアウトによるデータ依存型正規化器が、基礎となる深層ニューラルネットワークのRademacher複雑性を直接制御していることを示す。 これらの開発により、行列補完および深層ニューラルネットワークのトレーニングにおいて、ドロップアウトアルゴリズムの具体的な一般化誤差境界を与えることができる。 MovieLens, MNIST, Fashion-MNISTなどの実世界のデータセットに関する理論的知見を評価する。

関連論文リスト

• Average gradient outer product as a mechanism for deep neural collapse [26.939895223897572]
  Deep Neural Collapse (DNC)は、Deep Neural Networks (DNN)の最終層におけるデータ表現の驚くほど硬い構造を指す。 本研究では,平均勾配外積(AGOP)を通した特徴学習によりDNCが生成するデータ依存環境を提案する。 特徴学習体制下で訓練されたニューラルネットワークに対して,適切な特異ベクトルと重みの値が,クラス内変動の崩壊の大部分の原因となることを示す。
  論文  参考訳（メタデータ） (2024-02-21T11:40:27Z)
• Learning Universal Predictors [23.18743879588599]
  メタラーニングを限界まで活用することで、最も強力な普遍的予測子であるソロモノフ誘導(SI)をニューラルネットワークに記憶させる可能性を探る。 我々はUniversal Turing Machines (UTM) を用いて、幅広いパターンにネットワークを公開するトレーニングデータを生成する。 この結果から,UTMデータはメタラーニングに有用な資源であり,普遍的な予測戦略を学習可能なニューラルネットワークのトレーニングに有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-26T15:37:16Z)
• Predicting Seriousness of Injury in a Traffic Accident: A New Imbalanced Dataset and Benchmark [62.997667081978825]
  本稿では,交通事故における傷害の重大性を予測するために,機械学習アルゴリズムの性能を評価する新しいデータセットを提案する。 データセットは、英国運輸省から公開されているデータセットを集約することで作成される。
  論文  参考訳（メタデータ） (2022-05-20T21:15:26Z)
• Investigating Compounding Prediction Errors in Learned Dynamics Models [7.237751303770201]
  エージェントの行動の結果を正確に予測することは、ロボット制御の計画において重要な前提条件である。 Deep MBRLは、ニューラルネットワークを使用して、高次元状態からアクションへの各パスを予測するダイナミックスモデルを学ぶことで、一般的な候補となっている。 これらの「ワンステップ」予測は、構成された予測の長い地平線上で不正確なことが知られている。
  論文  参考訳（メタデータ） (2022-03-17T22:24:38Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• On the Robustness and Generalization of Deep Learning Driven Full Waveform Inversion [2.5382095320488665]
  フルウェーブフォーム・インバージョン(FWI)は画像から画像への変換タスクとして一般的にエピトマイズされる。 合成データでトレーニングされているにもかかわらず、ディープラーニング駆動のFWIは、十分な実世界のデータで評価すると、良好に動作することが期待されている。 これらのディープニューラルネットワークはどの程度堅牢で、どのように一般化されているのか?
  論文  参考訳（メタデータ） (2021-11-28T19:27:59Z)
• On Covariate Shift of Latent Confounders in Imitation and Reinforcement Learning [69.48387059607387]
  模擬・強化学習において,未観測の共同設立者と専門家データを併用することの問題点を考察する。 我々は、外部報酬を伴わずに、確立した専門家データから学ぶことの限界を分析する。 我々は,支援医療とレコメンデーションシステムシミュレーションの課題に挑戦する上で,我々の主張を実証的に検証する。
  論文  参考訳（メタデータ） (2021-10-13T07:31:31Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。