論文の概要: Scalable Gradients for Stochastic Differential Equations

• arxiv url: http://arxiv.org/abs/2001.01328v6
• Date: Sun, 18 Oct 2020 21:16:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 07:41:49.816882
• Title: Scalable Gradients for Stochastic Differential Equations
• Title（参考訳）: 確率微分方程式のスケーラブル勾配
• Authors: Xuechen Li, Ting-Kam Leonard Wong, Ricky T. Q. Chen, David Duvenaud
• Abstract要約: 随伴感度法は 通常の微分方程式の勾配を 我々はこの手法を微分方程式に一般化し、時間効率と定数メモリ計算を可能にする。 提案手法は,ネットワークによって定義されたニューラルダイナミクスに適合し,50次元モーションキャプチャーデータセット上での競合性能を実現する。
• 参考スコア（独自算出の注目度）: 40.70998833051251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The adjoint sensitivity method scalably computes gradients of solutions to ordinary differential equations. We generalize this method to stochastic differential equations, allowing time-efficient and constant-memory computation of gradients with high-order adaptive solvers. Specifically, we derive a stochastic differential equation whose solution is the gradient, a memory-efficient algorithm for caching noise, and conditions under which numerical solutions converge. In addition, we combine our method with gradient-based stochastic variational inference for latent stochastic differential equations. We use our method to fit stochastic dynamics defined by neural networks, achieving competitive performance on a 50-dimensional motion capture dataset.
• Abstract（参考訳）: 随伴感度法は通常の微分方程式に対する解の勾配をスカラーで計算する。 我々はこの手法を確率微分方程式に一般化し、高階適応解法を用いた勾配の時間効率および定数メモリ計算を可能にする。 具体的には、解が勾配である確率微分方程式、ノイズをキャッシングするメモリ効率のよいアルゴリズム、数値解が収束する条件を導出する。 さらに,本手法を潜在確率微分方程式の勾配に基づく確率的変分推論と組み合わせる。 我々は,ニューラルネットワークが定義する確率力学に適合し,50次元モーションキャプチャーデータセット上での競合性能を実現する。

関連論文リスト

• Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation [59.86921150579892]
  アルゴリズム,演算子,シミュレータ,その他の微分不可能関数の微分可能緩和に対する勾配推定の問題に対処する。 我々は、微分可能なソートとランキングのための分散化戦略、グラフ上の微分可能なショートパス、ポーズ推定のための微分可能なレンダリング、および微分可能なCryo-ETシミュレーションを開発する。
  論文  参考訳（メタデータ） (2024-10-10T17:10:00Z)
• Solving Fractional Differential Equations on a Quantum Computer: A Variational Approach [0.1492582382799606]
  本稿では, 時間-屈折偏微分方程式の解法として, 効率的な変分型量子古典アルゴリズムを提案する。 その結果, 解の忠実度は分数指数に不感であり, 勾配評価コストは時間ステップ数とともに経済的にスケールすることがわかった。
  論文  参考訳（メタデータ） (2024-06-13T02:27:16Z)
• Amortized Reparametrization: Efficient and Scalable Variational Inference for Latent SDEs [3.2634122554914002]
  本稿では,データ量,時系列の総長さ,近似微分方程式の剛性と独立にスケールする時間とメモリコストで潜在微分方程式を推定する問題を考察する。 これは、メモリコストが一定であるにもかかわらず、近似微分方程式の剛性に大きく依存する時間複雑性を持つ遅延微分方程式を推論する典型的な方法とは対照的である。
  論文  参考訳（メタデータ） (2023-12-16T22:27:36Z)
• Backward error analysis and the qualitative behaviour of stochastic optimization algorithms: Application to stochastic coordinate descent [1.534667887016089]
  一般最適化法の力学を近似した微分方程式のクラスを提案する。 座標降下の場合の修正方程式の安定性について検討する。
  論文  参考訳（メタデータ） (2023-09-05T09:39:56Z)
• Symbolic Recovery of Differential Equations: The Identifiability Problem [52.158782751264205]
  微分方程式の記号的回復は、支配方程式の導出を自動化する野心的な試みである。 関数が対応する微分方程式を一意に決定するために必要な条件と十分な条件の両方を提供する。 この結果を用いて、関数が微分方程式を一意に解くかどうかを判定する数値アルゴリズムを考案する。
  論文  参考訳（メタデータ） (2022-10-15T17:32:49Z)
• Rigorous dynamical mean field theory for stochastic gradient descent methods [17.90683687731009]
  一階勾配法の一家系の正確な高次元に対する閉形式方程式を証明した。 これには勾配降下(SGD)やネステロフ加速度などの広く使われているアルゴリズムが含まれる。
  論文  参考訳（メタデータ） (2022-10-12T21:10:55Z)
• Automated differential equation solver based on the parametric approximation optimization [77.34726150561087]
  本稿では,最適化アルゴリズムを用いてパラメータ化近似を用いた解を求める手法を提案する。 アルゴリズムのパラメータを変更することなく、幅広い種類の方程式を自動で解くことができる。
  論文  参考訳（メタデータ） (2022-05-11T10:06:47Z)
• Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations [83.3201889218775]
  広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。 しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。 いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
  論文  参考訳（メタデータ） (2021-12-27T18:31:34Z)
• Numerical Solution of Stiff Ordinary Differential Equations with Random Projection Neural Networks [0.0]
  正規微分方程式(ODE)の解に対する乱射影ニューラルネットワーク(RPNN)に基づく数値スキームを提案する。 提案手法は剛性の影響を受けずに高い数値近似精度を示し,textttode45 と textttode15s の関数よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-03T15:49:17Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。