論文の概要: A Deterministic Approximation to Neural SDEs

• arxiv url: http://arxiv.org/abs/2006.08973v6
• Date: Mon, 12 Sep 2022 07:04:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 19:19:21.455345
• Title: A Deterministic Approximation to Neural SDEs
• Title（参考訳）: ニューラルSDEに対する決定論的近似
• Authors: Andreas Look, Melih Kandemir, Barbara Rakitsch, Jan Peters
• Abstract要約: 本研究では,NSDEから精度の高い不確実性推定値を取得することは,計算的に禁止されていることを示す。 我々は、遷移カーネルを正確に近似する計算的に手頃な決定論的スキームを開発する。 また,決定論的学習の数値的安定性により予測精度も向上する。
• 参考スコア（独自算出の注目度）: 38.23826389188657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Stochastic Differential Equations (NSDEs) model the drift and diffusion functions of a stochastic process as neural networks. While NSDEs are known to make accurate predictions, their uncertainty quantification properties have been remained unexplored so far. We report the empirical finding that obtaining well-calibrated uncertainty estimations from NSDEs is computationally prohibitive. As a remedy, we develop a computationally affordable deterministic scheme which accurately approximates the transition kernel, when dynamics is governed by a NSDE. Our method introduces a bidimensional moment matching algorithm: vertical along the neural net layers and horizontal along the time direction, which benefits from an original combination of effective approximations. Our deterministic approximation of the transition kernel is applicable to both training and prediction. We observe in multiple experiments that the uncertainty calibration quality of our method can be matched by Monte Carlo sampling only after introducing high computational cost. Thanks to the numerical stability of deterministic training, our method also improves prediction accuracy.
• Abstract（参考訳）: ニューラル確率微分方程式(NSDE)は、確率過程のドリフトと拡散関数をニューラルネットワークとしてモデル化する。 NSDEは正確な予測をすることが知られているが、その不確実な定量化特性はいまだ未解明のままである。 本報告では,NSDEの精度の高い不確実性推定は,計算的に禁忌であることを示す。 NSDEによって動的に制御される場合の遷移カーネルを正確に近似する計算的に手頃な決定論的スキームを開発する。 本手法では,2次元モーメントマッチングアルゴリズムを導入する。ニューラルネット層に沿って垂直方向と時間方向に沿って水平方向の2次元モーメントマッチングアルゴリズムを導入する。 遷移核の決定論的近似は、トレーニングと予測の両方に適用できる。 提案手法の不確実性校正品質は,モンテカルロサンプリングにおいて高い計算コスト導入後にのみマッチング可能であることを複数実験で確認した。 決定論的トレーニングの数値的安定性により,予測精度も向上する。

関連論文リスト

• On the Hardness of Probabilistic Neurosymbolic Learning [10.180468225166441]
  ニューロシンボリックモデルにおける確率的推論の微分の複雑さについて検討する。 モデルサンプリングに基づく非バイアス勾配推定器WeightMEを紹介する。 我々の実験は、まだ正確な解が可能である場合でも、既存の偏差近似は最適化に苦慮していることを示している。
  論文  参考訳（メタデータ） (2024-06-06T19:56:33Z)
• Noise in the reverse process improves the approximation capabilities of diffusion models [27.65800389807353]
  生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。 本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。 我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
  論文  参考訳（メタデータ） (2023-12-13T02:39:10Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Stable Neural Flows [15.318500611972441]
  ニューラルネットワークによってパラメータ化されたエネルギー汎関数上で軌道が進化するニューラル常微分方程式(ニューラルODE)の確率的に安定な変種を導入する。 学習手順は最適制御問題としてキャストされ、随伴感性分析に基づいて近似解が提案される。
  論文  参考訳（メタデータ） (2020-03-18T06:27:21Z)
• Stochastic gradient descent with random learning rate [0.0]
  本稿では,一様分散ランダム学習率でニューラルネットワークを最適化することを提案する。 ランダムな学習率プロトコルを周期的および定常的なプロトコルと比較することにより、ランダムな選択は、一般に小規模学習率体系における最良の戦略であると示唆する。 我々は、MNISTデータセットとCIFAR10データセットの画像分類のための、浅い、完全に接続された、深い、畳み込みニューラルネットワークの実験を通じて、支持エビデンスを提供する。
  論文  参考訳（メタデータ） (2020-03-15T21:36:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。