Fugu-MT 論文翻訳(概要): Approximation and Gradient Descent Training with Neural Networks

論文の概要: Approximation and Gradient Descent Training with Neural Networks

arxiv url: http://arxiv.org/abs/2405.11696v1
Date: Sun, 19 May 2024 23:04:09 GMT
ステータス: 処理完了
システム内更新日: 2024-05-21 14:43:16.081411
Title: Approximation and Gradient Descent Training with Neural Networks
Title（参考訳）: ニューラルネットワークによる近似とグラディエントDescent Training
Authors: G. Welper,
Abstract要約: 最近の研究は、ニューラル・タンジェント・カーネル(NTK)最適化の議論を過度にパラメータ化された状態に拡張している。本稿では,勾配降下法により学習したネットワークの類似性を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is well understood that neural networks with carefully hand-picked weights provide powerful function approximation and that they can be successfully trained in over-parametrized regimes. Since over-parametrization ensures zero training error, these two theories are not immediately compatible. Recent work uses the smoothness that is required for approximation results to extend a neural tangent kernel (NTK) optimization argument to an under-parametrized regime and show direct approximation bounds for networks trained by gradient flow. Since gradient flow is only an idealization of a practical method, this paper establishes analogous results for networks trained by gradient descent.
Abstract（参考訳）: 注意深い手書き重みを持つニューラルネットワークは強力な関数近似を提供し、過度にパラメータ化された状態下でうまくトレーニングできることはよく理解されている。オーバーパラメトリゼーションはトレーニングエラーをゼロにするので、これらの2つの理論はすぐには互換性がない。最近の研究は、近似結果に必要な滑らかさを用いて、ニューラルネットワークカーネル(NTK)最適化引数を過度なパラメータ化された状態に拡張し、勾配流で訓練されたネットワークに対して直接近似境界を示す。勾配流は実際的な手法の理想化にすぎないため,勾配降下法で訓練したネットワークに対して,類似した結果が得られた。

関連論文リスト

Approximation Results for Gradient Descent trained Neural Networks [0.0]
ネットワークは完全に接続された一定の深さ増加幅である。連続カーネルエラーノルムは、滑らかな関数に必要な自然な滑らかさの仮定の下での近似を意味する。
論文参考訳（メタデータ） (2023-09-09T18:47:55Z)
Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Approximation results for Gradient Descent trained Shallow Neural Networks in $1d$ [0.0]
広範に研究されているニューラルネットワークの2つの側面は、関数近似特性と勾配降下法によるトレーニングである。現在の文献の大半では、これらの重量は完全にまたは部分的に手作りであるが、必ずしも実用的性能ではない。本稿では、これらの2つの要求のバランスをとり、勾配降下による非重み付け最適化とともに、ニューラルネットワークの近似結果を1d$で提供する。
論文参考訳（メタデータ） (2022-09-17T20:26:19Z)
Lifted Bregman Training of Neural Networks [28.03724379169264]
本稿では,(潜在的に非滑らかな)近位写像を活性化関数として,フィードフォワードニューラルネットワークのトレーニングのための新しい数学的定式化を導入する。この定式化はBregmanに基づいており、ネットワークのパラメータに関する偏微分がネットワークのアクティベーション関数の微分の計算を必要としないという利点がある。ニューラルネットワークに基づく分類器のトレーニングや、スパースコーディングによる(デノーミング)オートエンコーダのトレーニングには、これらのトレーニングアプローチが等しく適しているか、さらに適していることを示す数値的な結果がいくつか提示される。
論文参考訳（メタデータ） (2022-08-18T11:12:52Z)
Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文参考訳（メタデータ） (2021-12-04T18:07:47Z)
FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis [27.022551495550676]
本稿では,FLの勾配降下によって訓練された過減化ReLUニューラルネットワークに対応するFL-NTK(Learning Neural Kernel)について,新しい収束解析法を提案する。理論的には、FL-NTKは線形学習パラメータを適切に調整した自明な速度で大域最適解に収束する。
論文参考訳（メタデータ） (2021-05-11T13:05:53Z)
Convergence rates for gradient descent in the training of overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文参考訳（メタデータ） (2021-02-23T18:17:47Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。