論文の概要: Gradient Descent on Infinitely Wide Neural Networks: Global Convergence
and Generalization
- arxiv url: http://arxiv.org/abs/2110.08084v1
- Date: Fri, 15 Oct 2021 13:25:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 15:16:09.329277
- Title: Gradient Descent on Infinitely Wide Neural Networks: Global Convergence
and Generalization
- Title(参考訳): 無限広ニューラルネットワーク上のグラディエントDescent:グローバル収束と一般化
- Authors: Francis Bach (SIERRA), Lena\"ic Chizat (EPFL)
- Abstract要約: 多くの教師付き機械学習手法が最適化問題として採用されている。
パラメータに線形な予測モデルの場合、これはしばしば予測保証の問題を引き起こす。
本稿では,同種活性化機能を持つ2層ニューラルネットワークについて考察する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many supervised machine learning methods are naturally cast as optimization
problems. For prediction models which are linear in their parameters, this
often leads to convex problems for which many mathematical guarantees exist.
Models which are non-linear in their parameters such as neural networks lead to
non-convex optimization problems for which guarantees are harder to obtain. In
this review paper, we consider two-layer neural networks with homogeneous
activation functions where the number of hidden neurons tends to infinity, and
show how qualitative convergence guarantees may be derived.
- Abstract(参考訳): 多くの教師付き機械学習手法が最適化問題として自然に採用されている。
パラメータに線形な予測モデルの場合、これはしばしば多くの数学的保証が存在する凸問題を引き起こす。
ニューラルネットワークのようなパラメータで非線形であるモデルは、保証を得るのが難しい非凸最適化問題を引き起こす。
本稿では,隠れたニューロンの数が無限大となる等質活性化関数を持つ2層ニューラルネットワークについて検討し,定性収束保証の導出方法を示す。
関連論文リスト
- The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Does a sparse ReLU network training problem always admit an optimum? [0.0]
最適解の存在は、特にスパースReLUニューラルネットワークの文脈において、必ずしも保証されないことを示す。
特に,特定の疎度パターンを持つディープネットワークにおける最適化問題は,必ずしも最適パラメータを持つとは限らないことを示す。
論文 参考訳(メタデータ) (2023-06-05T08:01:50Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。
最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。
教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
論文 参考訳(メタデータ) (2022-04-30T05:31:07Z) - Convergence rates for gradient descent in the training of
overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。
ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文 参考訳(メタデータ) (2021-02-23T18:17:47Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Loss landscapes and optimization in over-parameterized non-linear
systems and neural networks [20.44438519046223]
広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。
広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。
論文 参考訳(メタデータ) (2020-02-29T17:18:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。