論文の概要: Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models

• arxiv url: http://arxiv.org/abs/2106.11609v1
• Date: Tue, 22 Jun 2021 08:40:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 15:05:00.357672
• Title: Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models
• Title（参考訳）: 未知のニューラルダイナミクスモデル学習のための分布勾配マッチング
• Authors: Lenart Treven, Philippe Wenk, Florian D\"orfler, Andreas Krause
• Abstract要約: 本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
• 参考スコア（独自算出の注目度）: 38.17499046781131
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential equations in general and neural ODEs in particular are an essential technique in continuous-time system identification. While many deterministic learning algorithms have been designed based on numerical integration via the adjoint method, many downstream tasks such as active learning, exploration in reinforcement learning, robust control, or filtering require accurate estimates of predictive uncertainties. In this work, we propose a novel approach towards estimating epistemically uncertain neural ODEs, avoiding the numerical integration bottleneck. Instead of modeling uncertainty in the ODE parameters, we directly model uncertainties in the state space. Our algorithm - distributional gradient matching (DGM) - jointly trains a smoother and a dynamics model and matches their gradients via minimizing a Wasserstein loss. Our experiments show that, compared to traditional approximate inference methods based on numerical integration, our approach is faster to train, faster at predicting previously unseen trajectories, and in the context of neural ODEs, significantly more accurate.
• Abstract（参考訳）: 一般の微分方程式やニューラルODEは、連続時間系同定において重要な手法である。 多くの決定論的学習アルゴリズムは随伴法による数値的統合に基づいて設計されているが、アクティブラーニング、強化学習の探索、ロバスト制御、フィルタリングといった下流タスクの多くは予測の不確実性の正確な推定を必要とする。 本研究では,数値積分ボトルネックを回避し,認識的不確かさを推定する新しい手法を提案する。 ODEパラメータの不確かさをモデル化する代わりに、状態空間における不確かさを直接モデル化する。 分布勾配マッチング (distributional gradient matching, dgm) アルゴリズムは, スムースモデルとダイナミクスモデルを共同で学習し, ワッサースタイン損失を最小化する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見られなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確である。

関連論文リスト

• Implementation and (Inverse Modified) Error Analysis for implicitly-templated ODE-nets [0.0]
  我々は,暗黙的な数値初期値問題解法に基づいてテンプレート化されたODE-netを用いてデータから未知のダイナミクスを学習することに焦点を当てた。 我々は,非ロール型暗黙的スキームを用いて,ODE-netの逆修正誤り解析を行い,解釈を容易にする。 我々は,誤差のレベルを監視し,暗黙的な解反復数に適応する適応アルゴリズムを定式化する。
  論文  参考訳（メタデータ） (2023-03-31T06:47:02Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Taylor-Lagrange Neural Ordinary Differential Equations: Toward Fast Training and Evaluation of Neural ODEs [22.976119802895017]
  ニューラル常微分方程式(NODE)の学習のためのデータ駆動型アプローチを提案する。 提案手法は,低階テイラー展開のみを用いながら,適応的なステップサイズスキームと同じ精度を実現する。 一連の数値実験により、TL-NODEは最先端のアプローチよりも桁違いに高速に訓練できることが示されている。
  論文  参考訳（メタデータ） (2022-01-14T23:56:19Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
  トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T17:44:50Z)
• Simple and Principled Uncertainty Estimation with Deterministic Deep Learning via Distance Awareness [24.473250414880454]
  単一ディープニューラルネットワーク(DNN)のみを必要とする高品質不確実性推定の原理的アプローチについて検討する。 この不確実性定量化を最小限の学習問題として定式化することにより、まず入力空間内のトレーニングデータから試験例の距離を定量化する入力距離認識を同定する。 次に, スペクトル正規化ニューラルガウス過程 (SNGP) を提案する。
  論文  参考訳（メタデータ） (2020-06-17T19:18:22Z)
• A Deterministic Approximation to Neural SDEs [38.23826389188657]
  本研究では,NSDEから精度の高い不確実性推定値を取得することは,計算的に禁止されていることを示す。 我々は、遷移カーネルを正確に近似する計算的に手頃な決定論的スキームを開発する。 また,決定論的学習の数値的安定性により予測精度も向上する。
  論文  参考訳（メタデータ） (2020-06-16T08:00:26Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。