Fugu-MT 論文翻訳(概要): Gradient Descent on Infinitely Wide Neural Networks: Global Convergence and Generalization

論文の概要: Gradient Descent on Infinitely Wide Neural Networks: Global Convergence and Generalization

arxiv url: http://arxiv.org/abs/2110.08084v1
Date: Fri, 15 Oct 2021 13:25:32 GMT
ステータス: 処理完了
システム内更新日: 2021-10-18 15:16:09.329277
Title: Gradient Descent on Infinitely Wide Neural Networks: Global Convergence and Generalization
Title（参考訳）: 無限広ニューラルネットワーク上のグラディエントDescent:グローバル収束と一般化
Authors: Francis Bach (SIERRA), Lena\"ic Chizat (EPFL)
Abstract要約: 多くの教師付き機械学習手法が最適化問題として採用されている。パラメータに線形な予測モデルの場合、これはしばしば予測保証の問題を引き起こす。本稿では,同種活性化機能を持つ2層ニューラルネットワークについて考察する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Many supervised machine learning methods are naturally cast as optimization problems. For prediction models which are linear in their parameters, this often leads to convex problems for which many mathematical guarantees exist. Models which are non-linear in their parameters such as neural networks lead to non-convex optimization problems for which guarantees are harder to obtain. In this review paper, we consider two-layer neural networks with homogeneous activation functions where the number of hidden neurons tends to infinity, and show how qualitative convergence guarantees may be derived.
Abstract（参考訳）: 多くの教師付き機械学習手法が最適化問題として自然に採用されている。パラメータに線形な予測モデルの場合、これはしばしば多くの数学的保証が存在する凸問題を引き起こす。ニューラルネットワークのようなパラメータで非線形であるモデルは、保証を得るのが難しい非凸最適化問題を引き起こす。本稿では,隠れたニューロンの数が無限大となる等質活性化関数を持つ2層ニューラルネットワークについて検討し,定性収束保証の導出方法を示す。

関連論文リスト

On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
論文参考訳（メタデータ） (2024-09-09T06:10:31Z)
LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文参考訳（メタデータ） (2024-07-18T22:05:21Z)
Calibrating Neural Networks' parameters through Optimal Contraction in a Prediction Problem [0.0]
論文では、リカレントニューラルネットワーク(RNN)を、パラメータが線形な領域の収縮に変換する方法について詳述する。次に、損失関数の特定の正規化項を持つRNNによってモデル化された予測問題は、その一階条件を解析的に表現できることを示した。特定の条件が満たされた場合、最適なパラメータが存在し、任意の所望の精度に簡単なアルゴリズムで見つけることができる。
論文参考訳（メタデータ） (2024-06-15T18:08:04Z)
Automated Design of Linear Bounding Functions for Sigmoidal Nonlinearities in Neural Networks [23.01933325606068]
既存の完全検証技術は、すべての堅牢性クエリに対して証明可能な保証を提供するが、小さなニューラルネットワークを超えてスケールするのに苦労する。本稿では,これらの線形近似の品質向上のためのパラメータ探索手法を提案する。具体的には、最先端のアルゴリズム構成手法によって与えられた検証問題に慎重に適応する単純な探索手法を用いることで、最先端技術よりも平均で25%のグローバルローバウンドを向上することを示す。
論文参考訳（メタデータ） (2024-06-14T16:16:26Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2022-10-25T14:45:15Z)
NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
論文参考訳（メタデータ） (2022-04-30T05:31:07Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文参考訳（メタデータ） (2020-06-16T21:56:22Z)
Loss landscapes and optimization in over-parameterized non-linear systems and neural networks [20.44438519046223]
広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。
論文参考訳（メタデータ） (2020-02-29T17:18:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。