論文の概要: Latent SDEs on Homogeneous Spaces
- arxiv url: http://arxiv.org/abs/2306.16248v2
- Date: Wed, 15 Nov 2023 16:07:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 20:13:17.759433
- Title: Latent SDEs on Homogeneous Spaces
- Title(参考訳): 均一空間上の潜在SDE
- Authors: Sebastian Zeng, Florian Graf, Roland Kwitt
- Abstract要約: 我々は、プロセスが潜在微分方程式(SDE)によって制御される潜在変数モデルにおける変分推論の問題を考察する。
本稿では,既存の一段階幾何学的ユーラー・丸山スキームを用いて,提案方式の潜在SDEを効率的に学習可能であることを示す。
より多様性の低いSDEに制限されているにも関わらず、さまざまな時系列や分類ベンチマークにおいて、競争力や最先端のパフォーマンスを達成しています。
- 参考スコア(独自算出の注目度): 9.361372513858043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of variational Bayesian inference in a latent
variable model where a (possibly complex) observed stochastic process is
governed by the solution of a latent stochastic differential equation (SDE).
Motivated by the challenges that arise when trying to learn an (almost
arbitrary) latent neural SDE from large-scale data, such as efficient gradient
computation, we take a step back and study a specific subclass instead. In our
case, the SDE evolves on a homogeneous latent space and is induced by
stochastic dynamics of the corresponding (matrix) Lie group. In learning
problems, SDEs on the unit $n$-sphere are arguably the most relevant
incarnation of this setup. Notably, for variational inference, the sphere not
only facilitates using a truly uninformative prior SDE, but we also obtain a
particularly simple and intuitive expression for the Kullback-Leibler
divergence between the approximate posterior and prior process in the evidence
lower bound. Experiments demonstrate that a latent SDE of the proposed type can
be learned efficiently by means of an existing one-step geometric
Euler-Maruyama scheme. Despite restricting ourselves to a less diverse class of
SDEs, we achieve competitive or even state-of-the-art performance on various
time series interpolation and classification benchmarks.
- Abstract(参考訳): 確率過程が(おそらく複雑な)観測された場合、潜時確率微分方程式(SDE)の解によって支配される潜在変数モデルにおける変分ベイズ推論の問題を考察する。
効率的な勾配計算などの大規模データから(ほぼ任意の)潜伏ニューラルネットワークSDEを学習しようとするときの課題に触発されて、我々は一歩後退して特定のサブクラスを研究する。
我々の場合、SDEは同次潜在空間上で進化し、対応する(行列)リー群の確率力学によって誘導される。
学習問題において、単位$n$-sphere上のSDEは、おそらくこの設定の最も関連性の高いインカーネーションである。
特に、変分推論において、球面は真に非形式的事前SDEの使用を容易にするだけでなく、証明の下界における近似的後続過程と先行過程の間のクルバック・リーブラー分岐に対する特に単純で直感的な表現も得られる。
実験により, 提案手法の潜在sdeを, 既存の1段階幾何オイラー・マルヤマスキームを用いて効率的に学習できることを実証した。
より多様なSDEに制限されているにもかかわらず、様々な時系列補間および分類ベンチマークにおいて、競争力や最先端のパフォーマンスを達成する。
関連論文リスト
- Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。
定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
論文 参考訳(メタデータ) (2023-11-30T22:34:57Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳(メタデータ) (2023-11-02T02:05:38Z) - Fully probabilistic deep models for forward and inverse problems in
parametric PDEs [1.9599274203282304]
本稿では,PDEのパラメータ・ツー・ソリューション(前方)と解・ツー・パラメータ(逆)マップを同時に学習する物理駆動型ディープ潜在変数モデル(PDDLVM)を提案する。
提案フレームワークは、観測データをシームレスに統合し、逆問題を解決するとともに、生成モデルを構築するために容易に拡張できる。
有限要素離散パラメトリックPDE問題に対して,本手法の有効性とロバスト性を示す。
論文 参考訳(メタデータ) (2022-08-09T15:40:53Z) - Learning differentiable solvers for systems with hard constraints [48.54197776363251]
ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。
我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。
その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
論文 参考訳(メタデータ) (2022-07-18T15:11:43Z) - Lie Point Symmetry Data Augmentation for Neural PDE Solvers [69.72427135610106]
本稿では,ニューラルPDEソルバサンプルの複雑性を改善することにより,この問題を部分的に緩和する手法を提案する。
PDEの文脈では、データ変換の完全なリストを定量的に導き出せることが分かりました。
神経性PDEソルバサンプルの複雑さを桁違いに改善するために、どのように容易に展開できるかを示す。
論文 参考訳(メタデータ) (2022-02-15T18:43:17Z) - Solving PDEs on Unknown Manifolds with Machine Learning [8.220217498103315]
本稿では,未知多様体上の楕円型PDEを解くためのメッシュフリー計算フレームワークと機械学習理論を提案する。
提案したNNソルバは,新しいデータポイント上の一般化とほぼ同一の誤差を持つ新しいデータポイント上でPDEを強固に一般化できることを示す。
論文 参考訳(メタデータ) (2021-06-12T03:55:15Z) - Learning stochastic dynamical systems with neural networks mimicking the
Euler-Maruyama scheme [14.436723124352817]
本稿では,SDEのパラメータを組み込みのSDE統合方式でニューラルネットワークで表現するデータ駆動手法を提案する。
このアルゴリズムは、幾何学的ブラウン運動とロレンツ-63モデルのバージョンに適用される。
論文 参考訳(メタデータ) (2021-05-18T11:41:34Z) - Neural SDEs as Infinite-Dimensional GANs [18.07683058213448]
我々は、SDE の適合に対する現在の古典的アプローチが、(ワッサーシュタイン) GAN の特別な場合としてアプローチされることを示した。
我々は(現代の機械学習における)連続時間生成時系列モデルとしてニューラルSDEを得る。
論文 参考訳(メタデータ) (2021-02-06T19:59:15Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z) - Identifying Latent Stochastic Differential Equations [29.103393300261587]
本研究では,高次元時系列データから潜時微分方程式(SDE)を学習する手法を提案する。
提案手法は,自己教師付き学習手法を用いて,環境空間から潜時空間へのマッピングと,基礎となるSDE係数を学習する。
提案手法の検証には,SDEの基盤となる複数のビデオ処理タスク,および実世界のデータセットを用いて行う。
論文 参考訳(メタデータ) (2020-07-12T19:46:31Z) - Stochastic Normalizing Flows [52.92110730286403]
微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。
粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。
これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
論文 参考訳(メタデータ) (2020-02-21T20:47:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。