論文の概要: Efficient Training of Neural SDEs Using Stochastic Optimal Control

• arxiv url: http://arxiv.org/abs/2505.17150v1
• Date: Thu, 22 May 2025 09:26:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.613747
• Title: Efficient Training of Neural SDEs Using Stochastic Optimal Control
• Title（参考訳）: 確率的最適制御を用いたニューラルネットワークSDEの効率的な学習
• Authors: Rembert Daems, Manfred Opper, Guillaume Crevecoeur, Tolga Birdal,
• Abstract要約: ニューラル微分方程式(SDE)に対する変動推論(VI)の階層的制御理論に基づく手法を提案する。 ニューラルSDEのVIは、不確実性を考慮した推論のための有望な道であるが、ELBOを最大化する反復的な性質のため、計算的に困難である。 制御項の線形部分は最適であり、学習する必要がないため、トレーニングは低コストで表現され、より速い収束を観察する。
• 参考スコア（独自算出の注目度）: 15.044442876958273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a hierarchical, control theory inspired method for variational inference (VI) for neural stochastic differential equations (SDEs). While VI for neural SDEs is a promising avenue for uncertainty-aware reasoning in time-series, it is computationally challenging due to the iterative nature of maximizing the ELBO. In this work, we propose to decompose the control term into linear and residual non-linear components and derive an optimal control term for linear SDEs, using stochastic optimal control. Modeling the non-linear component by a neural network, we show how to efficiently train neural SDEs without sacrificing their expressive power. Since the linear part of the control term is optimal and does not need to be learned, the training is initialized at a lower cost and we observe faster convergence.
• Abstract（参考訳）: 本稿では、ニューラルネットワークの確率微分方程式(SDE)に対する変動推論(VI)の階層的制御理論に基づく手法を提案する。 ニューラルSDEのVIは、時系列における不確実性を考慮した推論のための有望な道である一方、ELBOを最大化する反復的な性質のため、計算的に困難である。 本研究では,制御項を線形および残留非線形成分に分解し,確率的最適制御を用いて線形SDEの最適制御項を導出する。 ニューラルネットワークによる非線形成分のモデル化により、表現力を犠牲にすることなく、ニューラルネットワークのSDEを効率的に訓練する方法を示す。 制御項の線形部分は最適であり学習する必要がないため、トレーニングは低コストで初期化され、より高速な収束が観察される。

関連論文リスト

• Training Neural ODEs Using Fully Discretized Simultaneous Optimization [2.290491821371513]
  ニューラルネットワークの正規微分方程式(Neural ODEs)の学習には、各エポックにおける微分方程式の解法が必要であるため、計算コストが高い。 特に、コロケーションに基づく完全に離散化された定式化を採用し、大規模な非線形最適化にIPOPT-aソルバを用いる。 この結果から,(コロケーションをベースとした)同時ニューラルODE訓練パイプラインの可能性が示唆された。
  論文  参考訳（メタデータ） (2025-02-21T18:10:26Z)
• Which Optimizer Works Best for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks? [1.8175282137722093]
  我々は,バーガーズ,アレン・カシンスキー,ギンズバーグ・ランダウ方程式を含む,重要な挑戦的線形・剛性・多スケール非線形PDEについてPINNとPIKANを比較した。 PINN や PIKAN で一般的に用いられている他の機能拡張を使わずに改善点を明らかにした。
  論文  参考訳（メタデータ） (2025-01-22T21:19:42Z)
• Conformal Symplectic Optimization for Stable Reinforcement Learning [21.491621524500736]
  相対論的運動エネルギーを利用することで、RADは特殊相対性理論と制限パラメータの更新を有限速以下に取り入れ、異常な影響を効果的に緩和する。 特にRADは155.1%のパフォーマンス向上を実現しており、アタリゲームのトレーニングにおける有効性を示している。
  論文  参考訳（メタデータ） (2024-12-03T09:07:31Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Nonlinear controllability and function representation by neural stochastic differential equations [11.764601181046496]
  ニューラルSDEが初期状態の非線形機能を実現する能力を示す。 このステアリングを達成するのに必要な最小限の制御労力について、上下境界を導出する。
  論文  参考訳（メタデータ） (2022-12-01T22:25:52Z)
• LordNet: An Efficient Neural Network for Learning to Solve Parametric Partial Differential Equations without Simulated Data [47.49194807524502]
  エンタングルメントをモデル化するためのチューナブルで効率的なニューラルネットワークであるLordNetを提案する。 ポアソン方程式と(2Dおよび3D)ナビエ・ストークス方程式を解く実験は、長距離の絡み合いがロードネットによってうまくモデル化できることを示した。
  論文  参考訳（メタデータ） (2022-06-19T14:41:08Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。