論文の概要: Self Expanding Neural Networks

• arxiv url: http://arxiv.org/abs/2307.04526v1
• Date: Mon, 10 Jul 2023 12:49:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 13:13:32.310705
• Title: Self Expanding Neural Networks
• Title（参考訳）: 自己拡張型ニューラルネットワーク
• Authors: Rupert Mitchell, Martin Mundt, Kristian Kersting
• Abstract要約: ニューラルネットワークの幅と深さの両方を直感的に拡張する自然な勾配に基づくアプローチを導入する。 我々は、ニューロンが加算される「レート」上の上限を証明し、拡張スコアに対する計算コストの低い上限を証明した。 分類問題と回帰問題の両方において、そのような自己拡張ニューラルネットワークの利点を説明する。
• 参考スコア（独自算出の注目度）: 19.565523227233964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The results of training a neural network are heavily dependent on the architecture chosen; and even a modification of only the size of the network, however small, typically involves restarting the training process. In contrast to this, we begin training with a small architecture, only increase its capacity as necessary for the problem, and avoid interfering with previous optimization while doing so. We thereby introduce a natural gradient based approach which intuitively expands both the width and depth of a neural network when this is likely to substantially reduce the hypothetical converged training loss. We prove an upper bound on the "rate" at which neurons are added, and a computationally cheap lower bound on the expansion score. We illustrate the benefits of such Self-Expanding Neural Networks in both classification and regression problems, including those where the appropriate architecture size is substantially uncertain a priori.
• Abstract（参考訳）: ニューラルネットワークのトレーニングの結果は、選択したアーキテクチャに大きく依存しており、ネットワークのサイズのみの変更であっても、通常はトレーニングプロセスを再開する必要があった。 これとは対照的に、我々は小さなアーキテクチャでトレーニングを始め、問題に必要なキャパシティを増大させるだけであり、それを行う際に以前の最適化に干渉することを避ける。 そこで本研究では,ニューラルネットワークの幅と深さを直感的に拡張する自然勾配に基づく手法を提案する。 我々は、ニューロンが加算される「レート」上の上限を証明し、拡張スコアに対する計算コストの低い上限を証明した。 分類問題と回帰問題の両方において,このような自己拡張型ニューラルネットワークの利点を説明する。

関連論文リスト

• Extraction Propagation [4.368185344922342]
  我々は抽出伝搬と呼ばれる新しいニューラルネットワークアーキテクチャを開発した。 抽出伝搬は、互いに相互作用する多数の小さなニューラルネットワークのトレーニングによって機能する。
  論文  参考訳（メタデータ） (2024-02-24T19:06:41Z)
• Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training [5.68558935178946]
  ニュートラルニューラルネットワーク推定器の超ノルム収束を,新しい対角トレーニング方式で示す。 深部ニューラルネットワーク推定器は、補正付き対向訓練により、超ノルム感覚の最適率を達成する。
  論文  参考訳（メタデータ） (2023-07-08T20:24:14Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Multi-Grade Deep Learning [3.0069322256338906]
  現在のディープラーニングモデルは、シングルグレードのニューラルネットワークである。 本稿では,より効率的かつ効率的に深層ニューラルネットワークを学習できるマルチグレード学習モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-01T00:09:56Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Improving Deep Neural Network Random Initialization Through Neuronal Rewiring [14.484787903053208]
  神経強度のばらつきは低下するが, 神経強度のばらつきは低下し, 神経強度のばらつきは改善する。 次に、その強度に基づいて、優先アタッチメント(PA)ルールに従って神経細胞接続をリワイヤする新しい方法を提案する。 この意味では、PAは重みの大きさと分布を保ちながら、接続を再編成するのみである。
  論文  参考訳（メタデータ） (2022-07-17T11:52:52Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。