論文の概要: Convergence Analysis for Training Stochastic Neural Networks via Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2212.08924v1
• Date: Sat, 17 Dec 2022 18:17:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 19:02:33.028986
• Title: Convergence Analysis for Training Stochastic Neural Networks via Stochastic Gradient Descent
• Title（参考訳）: 確率勾配Descentによる確率ニューラルネットワークの学習収束解析
• Authors: Richard Archibald, Feng Bao, Yanzhao Cao, Hui Sun
• Abstract要約: 我々は、ニューラルネットワークのクラス(SNN)を訓練するための新しいサンプルワイドバックプロパゲーション法の収束性を証明する。 SNNのトレーニングのためのサンプルワイドバックプロパゲーション手法の性能を,ベンチマーク機械学習の例を用いて検討した。
• 参考スコア（独自算出の注目度）: 5.375913004988827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we carry out numerical analysis to prove convergence of a novel sample-wise back-propagation method for training a class of stochastic neural networks (SNNs). The structure of the SNN is formulated as discretization of a stochastic differential equation (SDE). A stochastic optimal control framework is introduced to model the training procedure, and a sample-wise approximation scheme for the adjoint backward SDE is applied to improve the efficiency of the stochastic optimal control solver, which is equivalent to the back-propagation for training the SNN. The convergence analysis is derived with and without convexity assumption for optimization of the SNN parameters. Especially, our analysis indicates that the number of SNN training steps should be proportional to the square of the number of layers in the convex optimization case. Numerical experiments are carried out to validate the analysis results, and the performance of the sample-wise back-propagation method for training SNNs is examined by benchmark machine learning examples.
• Abstract（参考訳）: 本稿では,確率的ニューラルネットワーク(snn)のクラスを学習するための新しいサンプルワイズバックプロパゲーション手法の収束を証明するために,数値解析を行う。 SNNの構造は確率微分方程式(SDE)の離散化として定式化される。 訓練手順をモデル化するために確率的最適制御フレームワークを導入し、snを訓練するためのバックプロパゲーションに相当する確率的最適制御ソルバの効率を向上させるために随伴後方sdeのサンプル回り近似スキームを適用する。 収束解析は、snパラメータの最適化のために凸性仮定なしで導出される。 特に,SNNのトレーニングステップの数は,凸最適化の場合のレイヤー数の2乗に比例すべきであることを示す。 解析結果を検証するために数値解析実験を行い、SNNのトレーニングのためのサンプルワイドバックプロパゲーション法の性能を機械学習のベンチマーク例で検証した。

関連論文リスト

• On the Convergence Analysis of Over-Parameterized Variational Autoencoders: A Neural Tangent Kernel Perspective [7.580900499231056]
  変分自動エンコーダ(VAE)は、生成タスクの強力な確率モデルとして登場した。 本稿では, 軽微な仮定の下でのVAEの数学的証明について述べる。 また、過剰に最適化されたSNNが直面する最適化問題と、カーネルリッジ(KRR)問題との新たな接続を確立する。
  論文  参考訳（メタデータ） (2024-09-09T06:10:31Z)
• kNN Algorithm for Conditional Mean and Variance Estimation with Automated Uncertainty Quantification and Variable Selection [8.429136647141487]
  我々は従来の非パラメトリックkNNモデルのスケーラビリティと適応性を相乗化するkNNベースの回帰手法を提案する。 本手法は,確率応答変数の条件平均と分散を正確に推定することに焦点を当てる。 2つのケーススタディで示されているように、特に生体医学的応用において顕著である。
  論文  参考訳（メタデータ） (2024-02-02T18:54:18Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• On Feynman--Kac training of partial Bayesian neural networks [1.6474447977095783]
  部分ベイズニューラルネットワーク(pBNN)は、完全なベイズニューラルネットワークと競合することが示されている。 本稿では,Feynman-Kacモデルのシミュレーションとして,pBNNのトレーニングを定式化した効率的なサンプリングベーストレーニング戦略を提案する。 提案手法は, 予測性能において, 技術状況よりも優れることを示す。
  論文  参考訳（メタデータ） (2023-10-30T15:03:15Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• DAS: A deep adaptive sampling method for solving partial differential equations [2.934397685379054]
  偏微分方程式(PDE)を解くための深層適応サンプリング法(DAS)を提案する。 深部ニューラルネットワークを用いてPDEの解を近似し、深部生成モデルを用いてトレーニングセットを洗練させる新しいコロケーションポイントを生成する。 そこで本研究では,DAS法が誤差境界を低減し,数値実験によりその有効性を実証できることを示す理論的解析を行った。
  論文  参考訳（メタデータ） (2021-12-28T08:37:47Z)
• Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization [1.7513645771137178]
  勾配情報のない制約のない最適化問題を考察する。 適応的なサンプリング準ニュートン法を提案し、共通乱数フレームワーク内の有限差を用いてシミュレーション関数の勾配を推定する。 そこで本研究では, 標準試験と内積準ニュートン試験の修正版を開発し, 近似に使用する試料サイズを制御し, 最適解の近傍に大域収束結果を与える。
  論文  参考訳（メタデータ） (2021-09-24T21:49:25Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。