論文の概要: Efficient Neural SDE Training using Wiener-Space Cubature

• arxiv url: http://arxiv.org/abs/2502.12395v1
• Date: Tue, 18 Feb 2025 00:06:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:27.607067
• Title: Efficient Neural SDE Training using Wiener-Space Cubature
• Title（参考訳）: Wiener-Space Cubature を用いた効率的なSDE訓練
• Authors: Luke Snow, Vikram Krishnamurthy,
• Abstract要約: モンテカルロシミュレーションをバイパスし,改良する新しいトレーニング手法を提案する。 We extended results in the theory of Wiener-space cubature to almost the expected objective functional by a weighted sum of deterministic ODE solution。
• 参考スコア（独自算出の注目度）: 13.440621354486906
• License:
• Abstract: A neural stochastic differential equation (SDE) is an SDE with drift and diffusion terms parametrized by neural networks. The training procedure for neural SDEs consists of optimizing the SDE vector field (neural network) parameters to minimize the expected value of an objective functional on infinite-dimensional path-space. Existing training techniques focus on methods to efficiently compute path-wise gradients of the objective functional with respect to these parameters, then pair this with Monte-Carlo simulation to estimate the expectation, and stochastic gradient descent to optimize. In this work we introduce a novel training technique which bypasses and improves upon Monte-Carlo simulation; we extend results in the theory of Wiener-space cubature to approximate the expected objective functional by a weighted sum of deterministic ODE solutions. This allows us to compute gradients by efficient ODE adjoint methods. Furthermore, we exploit a high-order recombination scheme to drastically reduce the number of ODE solutions necessary to achieve a reasonable approximation. We show that this Wiener-space cubature approach can surpass the O(1/sqrt(n)) rate of Monte-Carlo simulation, or the O(log(n)/n) rate of quasi-Monte-Carlo, to achieve a O(1/n) rate under reasonable assumptions.
• Abstract（参考訳）: ニューラル確率微分方程式(Neural stochastic differential equation, SDE)は、ニューラルネットワークによってパラメータ化されたドリフト項と拡散項を持つSDEである。 ニューラルネットワークSDEのトレーニング手順は、無限次元パス空間上の目的関数の期待値を最小限に抑えるために、SDEベクトル場(ニューラルネットワーク)パラメータを最適化する。 既存の訓練手法は、これらのパラメータに関して目的関数の経路ワイド勾配を効率的に計算し、モンテカルロシミュレーションと組み合わせて予測を推定し、確率勾配降下を最適化する手法に重点を置いている。 本研究では,モンテカルロシミュレーションをバイパスし,改良する新たなトレーニング手法を導入する。Wener-space cubatureの理論において,決定論的ODE解の重み付き和によって期待された目的関数を近似するために,結果を拡張する。 これにより、効率的なODE随伴法により勾配を計算することができる。 さらに、高次再結合方式を用いて、妥当な近似を達成するために必要なODEソリューションの数を劇的に削減する。 このWiener-space cubatureアプローチはモンテカルロシミュレーションのO(1/sqrt(n))レートや準モンテカルロのO(log(n)/n)レートを超え、合理的な仮定でO(1/n)レートを達成することができることを示す。

関連論文リスト

• Solving Poisson Equations using Neural Walk-on-Spheres [80.1675792181381]
  高次元ポアソン方程式の効率的な解法としてニューラルウォーク・オン・スフェース(NWoS)を提案する。 我々は,NWoSの精度,速度,計算コストにおける優位性を実証した。
  論文  参考訳（メタデータ） (2024-06-05T17:59:22Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• End-to-End Mesh Optimization of a Hybrid Deep Learning Black-Box PDE Solver [24.437884270729903]
  最近の研究では、ディープラーニングを利用して、粗いメッシュ上のPDEソルバによって得られる解を補正するPDE補正フレームワークが提案されている。 このようなPDE補正モデルのエンドツーエンドトレーニングでは、PDEソルバは反復的な数値過程を通じて自動微分をサポートする必要がある。 本研究では,ブラックボックスPDEソルバと流体流予測のためのディープラーニングモデルを用いたハイブリッドモデルのエンドツーエンドトレーニングの実現可能性について検討する。
  論文  参考訳（メタデータ） (2024-04-17T21:49:45Z)
• Noise in the reverse process improves the approximation capabilities of diffusion models [27.65800389807353]
  生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。 本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。 我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
  論文  参考訳（メタデータ） (2023-12-13T02:39:10Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• q-RBFNN:A Quantum Calculus-based RBF Neural Network [31.14412266444568]
  放射状基底関数ニューラルネットワーク(RBFNN)に対する勾配降下に基づく学習手法を提案する。 提案手法は、ジャクソン微分(Jackson derivative)とも呼ばれるq勾配に基づく。 提案した$q$-RBFNNは最小二乗アルゴリズムの文脈における収束性能について解析する。
  論文  参考訳（メタデータ） (2021-06-02T08:27:12Z)
• A Swarm Variant for the Schr\"odinger Solver [0.0]
  本稿では, ニューラルネットワークの微分自由導関数として, Exponentially Averaged Momentum Particle Swarm Optimization (EM-PSO) を適用する。 PSOの主な利点は、探索空間探索や、アダムのような勾配の輝きに比べて、局所的なミニマによる強靭性である。
  論文  参考訳（メタデータ） (2021-04-10T15:51:36Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• The Seven-League Scheme: Deep learning for large time step Monte Carlo simulations of stochastic differential equations [0.0]
  微分方程式(SDE)を解くための高精度なデータ駆動数値スキームを提案する。 SDE離散化は、正確に決定された(SC)点に基づいてカオス展開法により構築される。 圧縮圧縮とコロケーションという手法により、学習すべきニューラルネットワーク関数の数を劇的に減らすことができる。
  論文  参考訳（メタデータ） (2020-09-07T16:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。