論文の概要: Robust and Scalable SDE Learning: A Functional Perspective

• arxiv url: http://arxiv.org/abs/2110.05167v1
• Date: Mon, 11 Oct 2021 11:36:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 23:37:43.313829
• Title: Robust and Scalable SDE Learning: A Functional Perspective
• Title（参考訳）: ロバストでスケーラブルなSDE学習:機能的視点
• Authors: Scott Cameron, Tyron Cameron, Arnu Pretorius and Stephen Roberts
• Abstract要約: 本稿では,SDE推定器の観測確率を学習目的で重要サンプリングする手法を提案する。 提案手法は,SDEに基づくアルゴリズムと比較して低分散推定を行う。 これにより、大規模並列ハードウェアを大幅な時間短縮に有効利用することができる。
• 参考スコア（独自算出の注目度）: 5.642000444047032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic differential equations provide a rich class of flexible generative models, capable of describing a wide range of spatio-temporal processes. A host of recent work looks to learn data-representing SDEs, using neural networks and other flexible function approximators. Despite these advances, learning remains computationally expensive due to the sequential nature of SDE integrators. In this work, we propose an importance-sampling estimator for probabilities of observations of SDEs for the purposes of learning. Crucially, the approach we suggest does not rely on such integrators. The proposed method produces lower-variance gradient estimates compared to algorithms based on SDE integrators and has the added advantage of being embarrassingly parallelizable. This facilitates the effective use of large-scale parallel hardware for massive decreases in computation time.
• Abstract（参考訳）: 確率微分方程式は、幅広い時空間過程を記述することができる柔軟な生成モデルのリッチなクラスを提供する。 最近の研究のホストは、ニューラルネットワークやその他の柔軟な関数近似器を使用して、データ表現のSDEを学ぶことを目指している。 これらの進歩にもかかわらず、SDEインテグレータのシーケンシャルな性質のため、学習は計算的に高価である。 そこで本研究では,学習目的のsdes観測の確率に対する重要サンプリング推定器を提案する。 重要なことに、我々が提案するアプローチはそのような積分器に依存しない。 提案手法は, sde積分器に基づくアルゴリズムと比較し, 低分散勾配推定を行い, 恥ずかしい並列化の利点を生かした。 これにより、大規模並列ハードウェアが計算時間の大幅な削減に有効である。

関連論文リスト

• Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework [56.82432591933544]
  分散勾配降下(SGD)は、計算リソースのスケーリング、トレーニング時間の短縮、マシンラーニングにおけるユーザのプライバシ保護の支援などにより、近年注目されている。 本稿では,遅延微分方程式(SDDE)と勾配到着の近似に基づく分散SGDの実行時間と安定化について述べる。 活性化作業員の増加は, 安定度による分散SGDを必ずしも加速させるものではないことが興味深い。
  論文  参考訳（メタデータ） (2024-06-17T02:56:55Z)
• Amortized Reparametrization: Efficient and Scalable Variational Inference for Latent SDEs [3.2634122554914002]
  本稿では,データ量,時系列の総長さ,近似微分方程式の剛性と独立にスケールする時間とメモリコストで潜在微分方程式を推定する問題を考察する。 これは、メモリコストが一定であるにもかかわらず、近似微分方程式の剛性に大きく依存する時間複雑性を持つ遅延微分方程式を推論する典型的な方法とは対照的である。
  論文  参考訳（メタデータ） (2023-12-16T22:27:36Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Self-Supervised Learning with Lie Symmetries for Partial Differential Equations [25.584036829191902]
  我々は、自己教師付き学習(SSL)のための共同埋め込み手法を実装することにより、PDEの汎用表現を学習する。 我々の表現は、PDEの係数の回帰などの不変タスクに対するベースラインアプローチよりも優れており、また、ニューラルソルバのタイムステッピング性能も向上している。 提案手法がPDEの汎用基盤モデルの開発に有効であることを期待する。
  論文  参考訳（メタデータ） (2023-07-11T16:52:22Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Learning effective stochastic differential equations from microscopic simulations: combining stochastic numerics and deep learning [0.46180371154032895]
  ニューラルネットワークを用いた実効SDEにおけるドリフトと拡散関数を近似した。 当社のアプローチでは、長いトラジェクトリを必要とせず、散在するスナップショットデータで動作し、スナップショット毎に異なるタイムステップを自然に処理するように設計されています。
  論文  参考訳（メタデータ） (2021-06-10T13:00:18Z)
• Learning stochastic dynamical systems with neural networks mimicking the Euler-Maruyama scheme [14.436723124352817]
  本稿では,SDEのパラメータを組み込みのSDE統合方式でニューラルネットワークで表現するデータ駆動手法を提案する。 このアルゴリズムは、幾何学的ブラウン運動とロレンツ-63モデルのバージョンに適用される。
  論文  参考訳（メタデータ） (2021-05-18T11:41:34Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• The Seven-League Scheme: Deep learning for large time step Monte Carlo simulations of stochastic differential equations [0.0]
  微分方程式(SDE)を解くための高精度なデータ駆動数値スキームを提案する。 SDE離散化は、正確に決定された(SC)点に基づいてカオス展開法により構築される。 圧縮圧縮とコロケーションという手法により、学習すべきニューラルネットワーク関数の数を劇的に減らすことができる。
  論文  参考訳（メタデータ） (2020-09-07T16:06:20Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。