論文の概要: Latent SDEs on Homogeneous Spaces

• arxiv url: http://arxiv.org/abs/2306.16248v1
• Date: Wed, 28 Jun 2023 14:18:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 13:55:50.377808
• Title: Latent SDEs on Homogeneous Spaces
• Title（参考訳）: 均一空間上の潜在SDE
• Authors: Sebastian Zeng, Florian Graf, Roland Kwitt
• Abstract要約: 我々は、プロセスが潜在微分方程式(SDE)によって制御される潜在変数モデルにおける変分推論の問題を考察する。 本稿では,既存の一段階幾何学的ユーラー・丸山スキームを用いて,提案方式の潜在SDEを効率的に学習可能であることを示す。 より多様性の低いSDEに制限されているにも関わらず、さまざまな時系列や分類ベンチマークにおいて、競争力や最先端のパフォーマンスを達成しています。
• 参考スコア（独自算出の注目度）: 9.41774752232866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of variational Bayesian inference in a latent variable model where a (possibly complex) observed stochastic process is governed by the solution of a latent stochastic differential equation (SDE). Motivated by the challenges that arise when trying to learn an (almost arbitrary) latent neural SDE from large-scale data, such as efficient gradient computation, we take a step back and study a specific subclass instead. In our case, the SDE evolves on a homogeneous latent space and is induced by stochastic dynamics of the corresponding (matrix) Lie group. In learning problems, SDEs on the unit $n$-sphere are arguably the most relevant incarnation of this setup. Notably, for variational inference, the sphere not only facilitates using a truly uninformative prior SDE, but we also obtain a particularly simple and intuitive expression for the Kullback-Leibler divergence between the approximate posterior and prior process in the evidence lower bound. Experiments demonstrate that a latent SDE of the proposed type can be learned efficiently by means of an existing one-step geometric Euler-Maruyama scheme. Despite restricting ourselves to a less diverse class of SDEs, we achieve competitive or even state-of-the-art performance on various time series interpolation and classification benchmarks.
• Abstract（参考訳）: 確率過程が(おそらく複雑な)観測された場合、潜時確率微分方程式(SDE)の解によって支配される潜在変数モデルにおける変分ベイズ推論の問題を考察する。 効率的な勾配計算などの大規模データから(ほぼ任意の)潜伏ニューラルネットワークSDEを学習しようとするときの課題に触発されて、我々は一歩後退して特定のサブクラスを研究する。 我々の場合、SDEは同次潜在空間上で進化し、対応する(行列)リー群の確率力学によって誘導される。 学習問題において、単位$n$-sphere上のSDEは、おそらくこの設定の最も関連性の高いインカーネーションである。 特に、変分推論において、球面は真に非形式的事前SDEの使用を容易にするだけでなく、証明の下界における近似的後続過程と先行過程の間のクルバック・リーブラー分岐に対する特に単純で直感的な表現も得られる。 実験により, 提案手法の潜在sdeを, 既存の1段階幾何オイラー・マルヤマスキームを用いて効率的に学習できることを実証した。 より多様なSDEに制限されているにもかかわらず、様々な時系列補間および分類ベンチマークにおいて、競争力や最先端のパフォーマンスを達成する。

関連論文リスト

• Stochastic quantization and diffusion models [0.0]
  本稿では,物理学における量子化と機械学習における拡散モデルとの関係について概説する。 機械学習の応用においては、デノナイジング拡散モデルが成功技術として確立されている。 本稿では,スコアベース生成モデルにおけるSDE手法について述べる。
  論文  参考訳（メタデータ） (2024-11-18T05:47:41Z)
• Identifying Drift, Diffusion, and Causal Structure from Temporal Snapshots [10.018568337210876]
  本稿では,SDEの時空間からのドリフトと拡散を共同で推定する,最初の包括的アプローチを提案する。 これらのステップのそれぞれが、Kullback-Leiblerデータセットに関して常に最適であることを示す。
  論文  参考訳（メタデータ） (2024-10-30T06:28:21Z)
• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
  定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:34:57Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Learning differentiable solvers for systems with hard constraints [48.54197776363251]
  ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。 我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。 その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
  論文  参考訳（メタデータ） (2022-07-18T15:11:43Z)
• Lie Point Symmetry Data Augmentation for Neural PDE Solvers [69.72427135610106]
  本稿では,ニューラルPDEソルバサンプルの複雑性を改善することにより,この問題を部分的に緩和する手法を提案する。 PDEの文脈では、データ変換の完全なリストを定量的に導き出せることが分かりました。 神経性PDEソルバサンプルの複雑さを桁違いに改善するために、どのように容易に展開できるかを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:43:17Z)
• Learning stochastic dynamical systems with neural networks mimicking the Euler-Maruyama scheme [14.436723124352817]
  本稿では,SDEのパラメータを組み込みのSDE統合方式でニューラルネットワークで表現するデータ駆動手法を提案する。 このアルゴリズムは、幾何学的ブラウン運動とロレンツ-63モデルのバージョンに適用される。
  論文  参考訳（メタデータ） (2021-05-18T11:41:34Z)
• Neural SDEs as Infinite-Dimensional GANs [18.07683058213448]
  我々は、SDE の適合に対する現在の古典的アプローチが、(ワッサーシュタイン) GAN の特別な場合としてアプローチされることを示した。 我々は(現代の機械学習における)連続時間生成時系列モデルとしてニューラルSDEを得る。
  論文  参考訳（メタデータ） (2021-02-06T19:59:15Z)
• Identifying Latent Stochastic Differential Equations [29.103393300261587]
  本研究では,高次元時系列データから潜時微分方程式(SDE)を学習する手法を提案する。 提案手法は,自己教師付き学習手法を用いて,環境空間から潜時空間へのマッピングと,基礎となるSDE係数を学習する。 提案手法の検証には,SDEの基盤となる複数のビデオ処理タスク,および実世界のデータセットを用いて行う。
  論文  参考訳（メタデータ） (2020-07-12T19:46:31Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。