論文の概要: Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2007.01452v1
• Date: Fri, 3 Jul 2020 01:37:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 05:03:11.973157
• Title: Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks
• Title（参考訳）: 機能からのモデリング:高パラメータ深層ニューラルネットワークのための平均場フレームワーク
• Authors: Cong Fang, Jason D. Lee, Pengkun Yang, Tong Zhang
• Abstract要約: 本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
• 参考スコア（独自算出の注目度）: 54.27962244835622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a new mean-field framework for over-parameterized deep neural networks (DNNs), which can be used to analyze neural network training. In this framework, a DNN is represented by probability measures and functions over its features (that is, the function values of the hidden units over the training data) in the continuous limit, instead of the neural network parameters as most existing studies have done. This new representation overcomes the degenerate situation where all the hidden units essentially have only one meaningful hidden unit in each middle layer, and further leads to a simpler representation of DNNs, for which the training objective can be reformulated as a convex optimization problem via suitable re-parameterization. Moreover, we construct a non-linear dynamics called neural feature flow, which captures the evolution of an over-parameterized DNN trained by Gradient Descent. We illustrate the framework via the standard DNN and the Residual Network (Res-Net) architectures. Furthermore, we show, for Res-Net, when the neural feature flow process converges, it reaches a global minimal solution under suitable conditions. Our analysis leads to the first global convergence proof for over-parameterized neural network training with more than $3$ layers in the mean-field regime.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの学習解析に使用可能な,超パラメータ深層ニューラルネットワーク(dnns)のための平均場フレームワークを提案する。 このフレームワークでは、DNNは、既存のほとんどの研究が行ったように、ニューラルネットワークパラメータの代わりに、その特徴(すなわち、トレーニングデータ上の隠れたユニットの関数値)に関する確率測度と関数で表現される。 この新たな表現は、すべての隠蔽ユニットが本質的には各中間層に1つの意味のある隠蔽ユニットしか持たない縮退状況を克服し、さらに、トレーニング目的を適切な再パラメータ化によって凸最適化問題として再構成できるDNNのより単純な表現へと導く。 さらに、グラディエントDescentによって訓練された過パラメータDNNの進化を捉えるニューラル特徴フローと呼ばれる非線形ダイナミクスを構築した。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。 さらに、res-netでは、神経機能フロープロセスが収束すると、適切な条件下でグローバル極小解に到達する。 我々の分析は、平均的な領域で3ドル以上のレイヤーを持つ過パラメータニューラルネットワークトレーニングのための、最初のグローバル収束証明につながります。

関連論文リスト

• Local Linear Recovery Guarantee of Deep Neural Networks at Overparameterization [3.3998740964877463]
  局所線形リカバリ (LLR) は, 目標関数リカバリの弱い形式である。 より狭いDNNで表現可能な関数は、モデルパラメータよりも少ないサンプルから復元可能であることを証明した。
  論文  参考訳（メタデータ） (2024-06-26T03:08:24Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• An Optimal Time Variable Learning Framework for Deep Neural Networks [0.0]
  提案するフレームワークは、ResNet, DenseNet, Fractional-DNNなどの既存のネットワークに適用できる。 提案手法は、3D-マクスウェル方程式に悪影響を及ぼす。
  論文  参考訳（メタデータ） (2022-04-18T19:29:03Z)
• A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
  ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。 新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。 モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
  論文  参考訳（メタデータ） (2022-01-14T06:42:42Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
  大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。 この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-29T07:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。