論文の概要: Efficient and Accurate Gradients for Neural SDEs

• arxiv url: http://arxiv.org/abs/2105.13493v1
• Date: Thu, 27 May 2021 22:59:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:56:06.950618
• Title: Efficient and Accurate Gradients for Neural SDEs
• Title（参考訳）: ニューラルSDEのための効率的かつ正確な勾配
• Authors: Patrick Kidger and James Foster and Xuechen Li and Terry Lyons
• Abstract要約: ニューラルSDEは、メモリ効率、高容量関数近似、モデル空間に対する強い先行性を提供する。 それらはVAEまたはGANとして訓練され、いずれにせよ、SDE解決を通じてバックプロパゲーションを行う必要がある。 これは、計算の複雑さ、SDEの数値誤差、ブラウン運動の再構成コストなど、これまで深刻なスピードと精度の問題に悩まされてきた。
• 参考スコア（独自算出の注目度）: 12.406793386672208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural SDEs combine many of the best qualities of both RNNs and SDEs, and as such are a natural choice for modelling many types of temporal dynamics. They offer memory efficiency, high-capacity function approximation, and strong priors on model space. Neural SDEs may be trained as VAEs or as GANs; in either case it is necessary to backpropagate through the SDE solve. In particular this may be done by constructing a backwards-in-time SDE whose solution is the desired parameter gradients. However, this has previously suffered from severe speed and accuracy issues, due to high computational complexity, numerical errors in the SDE solve, and the cost of reconstructing Brownian motion. Here, we make several technical innovations to overcome these issues. First, we introduce the reversible Heun method: a new SDE solver that is algebraically reversible -- which reduces numerical gradient errors to almost zero, improving several test metrics by substantial margins over state-of-the-art. Moreover it requires half as many function evaluations as comparable solvers, giving up to a $1.98\times$ speedup. Next, we introduce the Brownian interval. This is a new and computationally efficient way of exactly sampling and reconstructing Brownian motion; this is in contrast to previous reconstruction techniques that are both approximate and relatively slow. This gives up to a $10.6\times$ speed improvement over previous techniques. After that, when specifically training Neural SDEs as GANs (Kidger et al. 2021), we demonstrate how SDE-GANs may be trained through careful weight clipping and choice of activation function. This reduces computational cost (giving up to a $1.87\times$ speedup), and removes the truncation errors of the double adjoint required for gradient penalty, substantially improving several test metrics. Altogether these techniques offer substantial improvements over the state-of-the-art.
• Abstract（参考訳）: ニューラルSDEは、RNNとSDEの両方の最高の品質を多く組み合わせており、多くの時間力学をモデル化するための自然な選択である。 メモリ効率、高容量関数近似、モデル空間に対する強い先行性を提供する。 ニューラルSDEは、VAEまたはGANとして訓練され、いずれの場合でも、SDE解決を通じてバックプロパゲートする必要がある。 特にこれは、所望のパラメータ勾配を解とする逆向きの SDE を構築することで実現できる。 しかし、これは以前、高い計算複雑性、SDE解決における数値誤差、ブラウン運動の再構成コストなど、厳しい速度と精度の問題に悩まされてきた。 ここでは、これらの問題を克服するためにいくつかの技術革新を行います。 まず,代数的に可逆な新しいSDE解法である可逆Hun法を導入し,数値勾配誤差をほぼゼロに減らし,最先端よりもかなりのマージンでいくつかのテスト指標を改善した。 さらに、同等のソルバの半分の関数評価が必要で、最大で1.98\times$ speedupとなる。 次に、ブラウン間隔を紹介する。 これはブラウン運動を正確にサンプリングし再構成する新しい計算効率の良い方法であり、近似的かつ比較的遅い以前の再構成技術とは対照的である。 これにより、従来の技術よりも10.6\times$スピードが向上する。 その後、神経SDEをGAN(Kidger et al)として訓練する。 2021) で, SDE-GAN を慎重に切断し, 活性化機能の選択によってどのように訓練するかを示した。 これにより計算コスト(最大$1.87\times$スピードアップ)が削減され、勾配のペナルティに必要な二重共役のトランケーションエラーが取り除かれ、いくつかのテストメトリクスが大幅に改善される。 これらの技術は、最先端技術よりも大幅に改善されている。

関連論文リスト

• A Deep Learning approach for parametrized and time dependent Partial Differential Equations using Dimensionality Reduction and Neural ODEs [46.685771141109306]
  時間依存・パラメトリック・(典型的には)非線形PDEに対する古典的数値解法と類似した自己回帰・データ駆動手法を提案する。 DRを活用することで、より正確な予測を提供するだけでなく、より軽量でより高速なディープラーニングモデルを提供できることを示す。
  論文  参考訳（メタデータ） (2025-02-12T11:16:15Z)
• End-to-End Mesh Optimization of a Hybrid Deep Learning Black-Box PDE Solver [24.437884270729903]
  最近の研究では、ディープラーニングを利用して、粗いメッシュ上のPDEソルバによって得られる解を補正するPDE補正フレームワークが提案されている。 このようなPDE補正モデルのエンドツーエンドトレーニングでは、PDEソルバは反復的な数値過程を通じて自動微分をサポートする必要がある。 本研究では,ブラックボックスPDEソルバと流体流予測のためのディープラーニングモデルを用いたハイブリッドモデルのエンドツーエンドトレーニングの実現可能性について検討する。
  論文  参考訳（メタデータ） (2024-04-17T21:49:45Z)
• Elucidating the solution space of extended reverse-time SDE for diffusion models [54.23536653351234]
  拡散モデル(DM)は、様々な生成的モデリングタスクにおいて強力な画像生成能力を示す。 その主な制限はサンプリング速度の遅いことであり、高品質な画像を生成するには数百から数千のシーケンシャルな機能評価が必要である。 サンプリングプロセスを拡張逆時間SDEとして定式化し、ODEやSDEへの事前探索を統一する。 我々は, 高速かつトレーニング不要なサンプル装置ER-SDE-rsを考案し, 全サンプル装置の最先端性能を実現した。
  論文  参考訳（メタデータ） (2023-09-12T12:27:17Z)
• Accelerated primal-dual methods with enlarged step sizes and operator learning for nonsmooth optimal control problems [3.1006429989273063]
  本稿では,異なる種類の変数を個別に扱える原始双対法の適用に焦点をあてる。 ステップサイズが大きい高速化された原始双対法では、元の原始双対法を数値的に高速化しながら、その収束を厳密に証明することができる。 演算子学習アクセラレーションのために、関連するPDEのためのディープニューラルネットワークサロゲートモデルを構築する。
  論文  参考訳（メタデータ） (2023-07-01T10:39:07Z)
• Learning to Solve PDE-constrained Inverse Problems with Graph Networks [51.89325993156204]
  科学と工学にまたがる多くの応用分野において、偏微分方程式(PDE)によって定義される制約で逆問題を解決することに興味がある。 ここでは、これらのPDE制約された逆問題を解決するために、GNNを探索する。 GNNを用いて計算速度を最大90倍に向上させる。
  論文  参考訳（メタデータ） (2022-06-01T18:48:01Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• SHINE: SHaring the INverse Estimate from the forward pass for bi-level optimization and implicit models [15.541264326378366]
  近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。 トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。 本稿では,この計算ボトルネックに対処する新たな手法を提案する。
  論文  参考訳（メタデータ） (2021-06-01T15:07:34Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• Actor-Critic Algorithm for High-dimensional Partial Differential Equations [1.5644600570264835]
  我々は高次元非線形放物型偏微分方程式を解くためのディープラーニングモデルを開発した。 BSDEのマルコフ的特性は、ニューラルネットワークアーキテクチャの設計に利用されています。 PDEのいくつかのよく知られたクラスを解くことで、これらの改善を実証する。
  論文  参考訳（メタデータ） (2020-10-07T20:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。