論文の概要: A Backward SDE Method for Uncertainty Quantification in Deep Learning
- arxiv url: http://arxiv.org/abs/2011.14145v2
- Date: Sun, 4 Apr 2021 01:42:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-19 19:19:59.222292
- Title: A Backward SDE Method for Uncertainty Quantification in Deep Learning
- Title(参考訳): 深層学習における不確実性定量化のための後方SDE法
- Authors: Richard Archibald, Feng Bao, Yanzhao Cao, and He Zhang
- Abstract要約: 本稿では,ニューラルネットワークのクラスを最適制御問題により定式化する確率論的機械学習手法を提案する。
最大原理に基づく効率的な降下アルゴリズムが導入された。
- 参考スコア(独自算出の注目度): 9.7140720884508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop a probabilistic machine learning method, which formulates a class
of stochastic neural networks by a stochastic optimal control problem. An
efficient stochastic gradient descent algorithm is introduced under the
stochastic maximum principle framework. Numerical experiments for applications
of stochastic neural networks are carried out to validate the effectiveness of
our methodology.
- Abstract(参考訳): 確率的最適制御問題を用いて確率的ニューラルネットワークのクラスを定式化する確率的機械学習手法を開発した。
確率的勾配降下アルゴリズムは確率的最大原理の枠組みの下で導入される。
本手法の有効性を検証するため,確率的ニューラルネットワークの適用に関する数値実験を行った。
関連論文リスト
- A Simulation-Free Deep Learning Approach to Stochastic Optimal Control [12.699529713351287]
最適制御(SOC)における一般問題の解法のためのシミュレーションフリーアルゴリズムを提案する。
既存の手法とは異なり、我々の手法は随伴問題の解を必要としない。
論文 参考訳(メタデータ) (2024-10-07T16:16:53Z) - Beyond Expectations: Learning with Stochastic Dominance Made Practical [88.06211893690964]
支配は、不確実な結果で意思決定を行うためのリスク-逆の選好をモデル化する。
理論上は魅力的だが、機械学習における優位性の応用は乏しい。
まず支配の概念を一般化し、任意の確率変数の任意のペア間の比較を可能にする。
次に、優位性の観点から最適解を見つけるための単純で効率的なアプローチを開発する。
論文 参考訳(メタデータ) (2024-02-05T03:21:23Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - A deep learning based surrogate model for stochastic simulators [0.0]
シミュレータのための深層学習に基づく代理モデルを提案する。
我々は損失関数として条件付き最大平均誤差(CMMD)を利用する。
その結果,提案手法の優れた性能が得られた。
論文 参考訳(メタデータ) (2021-10-24T11:38:47Z) - Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。
本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文 参考訳(メタデータ) (2021-05-17T08:36:18Z) - An Efficient Algorithm for Deep Stochastic Contextual Bandits [10.298368632706817]
コンテキスト境界の問題では、エージェントは特定の観察されたコンテキストに基づいてアクションを選択し、反復よりも報酬を最大化します。
近年、ディープニューラルネットワーク(DNN)を用いて行動に対する期待される報酬を予測する研究がいくつか行われ、勾配に基づく手法で訓練されている。
論文 参考訳(メタデータ) (2021-04-12T16:34:43Z) - Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。
アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
論文 参考訳(メタデータ) (2020-08-25T15:48:15Z) - Stochastic gradient descent with random learning rate [0.0]
本稿では,一様分散ランダム学習率でニューラルネットワークを最適化することを提案する。
ランダムな学習率プロトコルを周期的および定常的なプロトコルと比較することにより、ランダムな選択は、一般に小規模学習率体系における最良の戦略であると示唆する。
我々は、MNISTデータセットとCIFAR10データセットの画像分類のための、浅い、完全に接続された、深い、畳み込みニューラルネットワークの実験を通じて、支持エビデンスを提供する。
論文 参考訳(メタデータ) (2020-03-15T21:36:46Z) - Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。
我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文 参考訳(メタデータ) (2020-03-11T13:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。