論文の概要: Multi-Grade Deep Learning
- arxiv url: http://arxiv.org/abs/2302.00150v1
- Date: Wed, 1 Feb 2023 00:09:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 18:09:09.927927
- Title: Multi-Grade Deep Learning
- Title(参考訳): マルチグレード深層学習
- Authors: Yuesheng Xu
- Abstract要約: 現在のディープラーニングモデルは、シングルグレードのニューラルネットワークである。
本稿では,より効率的かつ効率的に深層ニューラルネットワークを学習できるマルチグレード学習モデルを提案する。
- 参考スコア(独自算出の注目度): 3.0069322256338906
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The current deep learning model is of a single-grade, that is, it learns a
deep neural network by solving a single nonconvex optimization problem. When
the layer number of the neural network is large, it is computationally
challenging to carry out such a task efficiently. Inspired by the human
education process which arranges learning in grades, we propose a multi-grade
learning model: We successively solve a number of optimization problems of
small sizes, which are organized in grades, to learn a shallow neural network
for each grade. Specifically, the current grade is to learn the leftover from
the previous grade. In each of the grades, we learn a shallow neural network
stacked on the top of the neural network, learned in the previous grades, which
remains unchanged in training of the current and future grades. By dividing the
task of learning a deep neural network into learning several shallow neural
networks, one can alleviate the severity of the nonconvexity of the original
optimization problem of a large size. When all grades of the learning are
completed, the final neural network learned is a stair-shape neural network,
which is the superposition of networks learned from all grades. Such a model
enables us to learn a deep neural network much more effectively and
efficiently. Moreover, multi-grade learning naturally leads to adaptive
learning. We prove that in the context of function approximation if the neural
network generated by a new grade is nontrivial, the optimal error of the grade
is strictly reduced from the optimal error of the previous grade. Furthermore,
we provide several proof-of-concept numerical examples which demonstrate that
the proposed multi-grade model outperforms significantly the traditional
single-grade model and is much more robust than the traditional model.
- Abstract(参考訳): 現在のディープラーニングモデルは、単一の非凸最適化問題を解決することで、ディープニューラルネットワークを学習するシングルグレードのモデルである。
ニューラルネットワークの層数が大きければ、そのようなタスクを効率的に実行することは計算的に困難である。
我々は,学級別に学習を配置する人間教育プロセスに着想を得て,学級に編成された小規模の最適化問題の多くを逐次解決し,学級ごとに浅いニューラルネットワークを学習するマルチグレード学習モデルを提案する。
具体的には、現在のグレードは、前のグレードから残りを学習することである。
それぞれの段階において、ニューラルネットワークの上部に積み重ねられた浅いニューラルネットワークを学習し、前段階で学習し、現在の段階と将来の段階のトレーニングでは変わらないままである。
深層ニューラルネットワークを学習していくつかの浅いニューラルネットワークを学ぶタスクを分割することにより、元の最適化問題の非凸性の深刻さを軽減できる。
学習のすべての段階が完了すると、学習された最後のニューラルネットワークは、すべての段階から学習されたネットワークの重ね合わせである階段型ニューラルネットワークである。
このようなモデルにより、ディープニューラルネットワークをより効率的かつ効率的に学習することができる。
さらに、マルチグレード学習は自然に適応学習につながる。
関数近似の文脈において、新しいグレードによって生成されたニューラルネットワークが非自明であれば、そのグレードの最適誤差は前のグレードの最適誤差から厳密に低減される。
さらに,提案する多段モデルが従来の単段モデルを大幅に上回り,従来モデルよりもはるかに頑健であることを示す,概念実証の数値例をいくつか提示する。
関連論文リスト
- Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student
Settings and its Superiority to Kernel Methods [58.44819696433327]
教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。
学生ネットワークは、どの解法よりも確実に優れていることがわかった。
論文 参考訳(メタデータ) (2022-05-30T02:51:36Z) - Wide and Deep Neural Networks Achieve Optimality for Classification [23.738242876364865]
我々は、最適性を達成するニューラルネットワーク分類器の明示的な集合を同定し、構築する。
特に、最適性を実現するネットワーク構築に使用できる明示的なアクティベーション関数を提供する。
その結果,過度な深度が有害な回帰タスクとは対照的に,分類タスクにディープネットワークを使用することの利点が浮き彫りになった。
論文 参考訳(メタデータ) (2022-04-29T14:27:42Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳(メタデータ) (2022-01-30T04:52:31Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳(メタデータ) (2021-11-15T22:33:52Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Incremental Deep Neural Network Learning using Classification Confidence
Thresholding [4.061135251278187]
分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。
本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
論文 参考訳(メタデータ) (2021-06-21T22:46:28Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳(メタデータ) (2021-02-17T04:47:18Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳(メタデータ) (2020-06-24T02:44:54Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。