論文の概要: Searching for Minimal Optimal Neural Networks
- arxiv url: http://arxiv.org/abs/2109.13061v1
- Date: Mon, 27 Sep 2021 14:08:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 15:51:09.032101
- Title: Searching for Minimal Optimal Neural Networks
- Title（参考訳）: 最小最適ニューラルネットワークの探索
- Authors: Lam Si Tung Ho, Vu Dinh
- Abstract要約: 大きなニューラルネットワークモデルは高い予測力を持つが、トレーニングセットが十分に大きくない場合、過度に適合する可能性がある。
破壊的なアプローチは、大規模なアーキテクチャから始まり、ラッソ型ペナルティを使用してサイズを小さくする。
適応群Lassoが一貫したものであり、高い確率で1つの隠れ層フィードフォワードネットワークの隠れノードの正しい数を再構築できることを証明した。
- 参考スコア（独自算出の注目度）: 4.94950858749529
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large neural network models have high predictive power but may suffer from
overfitting if the training set is not large enough. Therefore, it is desirable
to select an appropriate size for neural networks. The destructive approach,
which starts with a large architecture and then reduces the size using a
Lasso-type penalty, has been used extensively for this task. Despite its
popularity, there is no theoretical guarantee for this technique. Based on the
notion of minimal neural networks, we posit a rigorous mathematical framework
for studying the asymptotic theory of the destructive technique. We prove that
Adaptive group Lasso is consistent and can reconstruct the correct number of
hidden nodes of one-hidden-layer feedforward networks with high probability. To
the best of our knowledge, this is the first theoretical result establishing
for the destructive technique.
- Abstract（参考訳）: 大きなニューラルネットワークモデルは高い予測力を持つが、トレーニングセットが十分に大きくない場合、過度に適合する。
したがって、ニューラルネットワークの適切なサイズを選択することが望ましい。
破壊的なアプローチは、大きなアーキテクチャから始まり、lassoタイプのペナルティを使ってサイズを小さくするが、このタスクに広く使われている。
その人気にもかかわらず、この技法の理論的保証はない。
最小ニューラルネットワークの概念に基づき,破壊手法の漸近理論を研究するための厳密な数学的枠組みを仮定する。
適応群lassoは一貫性があり、1階層フィードフォワードネットワークの隠れノード数を高い確率で再構成できることを示す。
私たちの知る限りでは、これは破壊技術のための最初の理論的な結果です。
関連論文リスト
- Residual Random Neural Networks [0.0]
ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。
隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-25T22:00:11Z) - Efficient and Flexible Method for Reducing Moderate-size Deep Neural Networks with Condensation [36.41451383422967]
科学的応用において、ニューラルネットワークのスケールは概して中規模であり、主に推論の速度を保証する。
既存の研究によると、ニューラルネットワークの強力な能力は、主に非線形性に起因する。
本稿では,本手法の有効性を検証するための凝縮低減アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-02T06:53:40Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Wide and Deep Neural Networks Achieve Optimality for Classification [23.738242876364865]
我々は、最適性を達成するニューラルネットワーク分類器の明示的な集合を同定し、構築する。
特に、最適性を実現するネットワーク構築に使用できる明示的なアクティベーション関数を提供する。
その結果,過度な深度が有害な回帰タスクとは対照的に,分類タスクにディープネットワークを使用することの利点が浮き彫りになった。
論文 参考訳（メタデータ） (2022-04-29T14:27:42Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳（メタデータ） (2022-01-30T04:52:31Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - How Powerful are Shallow Neural Networks with Bandlimited Random
Weights? [25.102870584507244]
制限深度2バンドランダムニューラルネットワークの表現力について検討する。
ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
論文 参考訳（メタデータ） (2020-08-19T13:26:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。