論文の概要: Explicit and Effectively Symmetric Schemes for Neural SDEs

• arxiv url: http://arxiv.org/abs/2509.20599v1
• Date: Wed, 24 Sep 2025 22:43:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.61104
• Title: Explicit and Effectively Symmetric Schemes for Neural SDEs
• Title（参考訳）: ニューラルSDEのための明示的・効果的な対称性スキーム
• Authors: Daniil Shmelev, Cristopher Salvi,
• Abstract要約: ニューラルSDEのための安定でほぼ可逆なランジュ-クッタスキームを新たに導入する。 これらのスキームは、その不安定性を克服しながら、可逆的なソルバの利点を維持し、メモリ効率のトレーニングを可能にしている。
• 参考スコア（独自算出の注目度）: 9.126976857662084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation through (neural) SDE solvers is traditionally approached in two ways: discretise-then-optimise, which offers accurate gradients but incurs prohibitive memory costs due to storing the full computational graph (even when mitigated by checkpointing); and optimise-then-discretise, which achieves constant memory cost by solving an auxiliary backward SDE, but suffers from slower evaluation and gradient approximation errors. Algebraically reversible solvers promise both memory efficiency and gradient accuracy, yet existing methods such as the Reversible Heun scheme are often unstable under complex models and large step sizes. We address these limitations by introducing a novel class of stable, near-reversible Runge--Kutta schemes for neural SDEs. These Explicit and Effectively Symmetric (EES) schemes retain the benefits of reversible solvers while overcoming their instability, enabling memory-efficient training without severe restrictions on step size or model complexity. Through numerical experiments, we demonstrate the superior stability and reliability of our schemes, establishing them as a practical foundation for scalable and accurate training of neural SDEs.
• Abstract（参考訳）: 離散-then-Optimiseは、正確な勾配を提供するが、完全な計算グラフ(チェックポインティングによって緩和された場合でも)を格納することで禁止的なメモリコストを発生させる。 代数的可逆解法はメモリ効率と勾配精度の両方を約束するが、Reversible Heunスキームのような既存の手法は複雑なモデルや大きなステップサイズで不安定であることが多い。 ニューラルSDEのための安定でほぼ可逆なルンゲ-クッタスキームを新たに導入することで,これらの制約に対処する。 これらの明示的で効果的な対称性(EES)スキームは、その不安定性を克服しながら、可逆的な解決者の利点を維持し、ステップサイズやモデルの複雑さを厳しく制限することなく、メモリ効率の高いトレーニングを可能にする。 数値実験により,我々のスキームの優れた安定性と信頼性を実証し,ニューラルネットワークSDEのスケーラブルかつ正確なトレーニングの実践的基盤として確立した。

関連論文リスト

• SING: SDE Inference via Natural Gradients [0.0]
  本稿では,SDE推論を自然勾配(Sing)を用いて提案し,モデルと変分後部の基底幾何学を効率的に活用する。 SINGは、難解な積分を近似し、計算を時間内に並列化することにより、潜在SDEモデルの高速かつ信頼性の高い推論を可能にする。 SINGは、様々なデータセットにおける状態推定とドリフト推定において、先行手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-06-21T19:36:11Z)
• TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
  textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。 SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• Efficiently Training Deep-Learning Parametric Policies using Lagrangian Duality [55.06411438416805]
  制約付きマルコフ決定プロセス(CMDP)は、多くの高度な応用において重要である。 本稿では,パラメトリックアクターポリシーを効率的に訓練するための2段階深度決定規則(TS-DDR)を提案する。 現状の手法と比較して, 解の質を高め, 数桁の計算時間を削減できることが示されている。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Non-adversarial training of Neural SDEs with signature kernel scores [4.721845865189578]
  不規則な時系列生成のための最先端性能は、これらのモデルをGANとして逆向きに訓練することで既に得られている。 本稿では,シグネチャカーネルに基づくパス空間のスコアリングルールを新たに導入する。
  論文  参考訳（メタデータ） (2023-05-25T17:31:18Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• SketchySGD: Reliable Stochastic Optimization via Randomized Curvature Estimates [19.420605210427635]
  SketchySGDは、サブサンプルヘッセンに対するランダム化低ランク近似を用いることで、機械学習の既存の勾配法を改善する。 固定段数を持つSketchySGDが最適の周りの小さな球に線形に収束することを理論的に示す。 条件のない設定では、最小二乗問題に対してSketchySGDはSGDよりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2022-11-16T01:05:41Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Neural Stochastic Dual Dynamic Programming [99.80617899593526]
  我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。 $nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
  論文  参考訳（メタデータ） (2021-12-01T22:55:23Z)
• Robust and Scalable SDE Learning: A Functional Perspective [5.642000444047032]
  本稿では,SDE推定器の観測確率を学習目的で重要サンプリングする手法を提案する。 提案手法は,SDEに基づくアルゴリズムと比較して低分散推定を行う。 これにより、大規模並列ハードウェアを大幅な時間短縮に有効利用することができる。
  論文  参考訳（メタデータ） (2021-10-11T11:36:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。