論文の概要: Multi-Grade Deep Learning

• arxiv url: http://arxiv.org/abs/2302.00150v1
• Date: Wed, 1 Feb 2023 00:09:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-02 18:09:09.927927
• Title: Multi-Grade Deep Learning
• Title（参考訳）: マルチグレード深層学習
• Authors: Yuesheng Xu
• Abstract要約: 現在のディープラーニングモデルは、シングルグレードのニューラルネットワークである。 本稿では,より効率的かつ効率的に深層ニューラルネットワークを学習できるマルチグレード学習モデルを提案する。
• 参考スコア（独自算出の注目度）: 3.0069322256338906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The current deep learning model is of a single-grade, that is, it learns a deep neural network by solving a single nonconvex optimization problem. When the layer number of the neural network is large, it is computationally challenging to carry out such a task efficiently. Inspired by the human education process which arranges learning in grades, we propose a multi-grade learning model: We successively solve a number of optimization problems of small sizes, which are organized in grades, to learn a shallow neural network for each grade. Specifically, the current grade is to learn the leftover from the previous grade. In each of the grades, we learn a shallow neural network stacked on the top of the neural network, learned in the previous grades, which remains unchanged in training of the current and future grades. By dividing the task of learning a deep neural network into learning several shallow neural networks, one can alleviate the severity of the nonconvexity of the original optimization problem of a large size. When all grades of the learning are completed, the final neural network learned is a stair-shape neural network, which is the superposition of networks learned from all grades. Such a model enables us to learn a deep neural network much more effectively and efficiently. Moreover, multi-grade learning naturally leads to adaptive learning. We prove that in the context of function approximation if the neural network generated by a new grade is nontrivial, the optimal error of the grade is strictly reduced from the optimal error of the previous grade. Furthermore, we provide several proof-of-concept numerical examples which demonstrate that the proposed multi-grade model outperforms significantly the traditional single-grade model and is much more robust than the traditional model.
• Abstract（参考訳）: 現在のディープラーニングモデルは、単一の非凸最適化問題を解決することで、ディープニューラルネットワークを学習するシングルグレードのモデルである。 ニューラルネットワークの層数が大きければ、そのようなタスクを効率的に実行することは計算的に困難である。 我々は,学級別に学習を配置する人間教育プロセスに着想を得て,学級に編成された小規模の最適化問題の多くを逐次解決し,学級ごとに浅いニューラルネットワークを学習するマルチグレード学習モデルを提案する。 具体的には、現在のグレードは、前のグレードから残りを学習することである。 それぞれの段階において、ニューラルネットワークの上部に積み重ねられた浅いニューラルネットワークを学習し、前段階で学習し、現在の段階と将来の段階のトレーニングでは変わらないままである。 深層ニューラルネットワークを学習していくつかの浅いニューラルネットワークを学ぶタスクを分割することにより、元の最適化問題の非凸性の深刻さを軽減できる。 学習のすべての段階が完了すると、学習された最後のニューラルネットワークは、すべての段階から学習されたネットワークの重ね合わせである階段型ニューラルネットワークである。 このようなモデルにより、ディープニューラルネットワークをより効率的かつ効率的に学習することができる。 さらに、マルチグレード学習は自然に適応学習につながる。 関数近似の文脈において、新しいグレードによって生成されたニューラルネットワークが非自明であれば、そのグレードの最適誤差は前のグレードの最適誤差から厳密に低減される。 さらに,提案する多段モデルが従来の単段モデルを大幅に上回り,従来モデルよりもはるかに頑健であることを示す,概念実証の数値例をいくつか提示する。

関連論文リスト

• Residual Random Neural Networks [0.0]
  ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。 隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-25T22:00:11Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Message Passing Variational Autoregressive Network for Solving Intractable Ising Models [6.261096199903392]
  自己回帰型ニューラルネットワーク、畳み込み型ニューラルネットワーク、リカレントニューラルネットワーク、グラフニューラルネットワークなど、多くのディープニューラルネットワークがIsingモデルの解決に使用されている。 本稿では、スピン変数間の相互作用を効果的に活用できるメッセージパッシング機構を備えた変分自己回帰アーキテクチャを提案する。 新しいネットワークは、アニーリングフレームワークの下で訓練され、いくつかの原型スピンハミルトニアンの解法、特に低温での大きなスピン系において、既存の方法よりも優れている。
  論文  参考訳（メタデータ） (2024-04-09T11:27:07Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods [58.44819696433327]
  教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。 学生ネットワークは、どの解法よりも確実に優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T02:51:36Z)
• Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
  使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。 最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
  論文  参考訳（メタデータ） (2022-01-30T04:52:31Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Incremental Deep Neural Network Learning using Classification Confidence Thresholding [4.061135251278187]
  分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。 本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-21T22:46:28Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。