論文の概要: Deep Latent Force Models: ODE-based Process Convolutions for Bayesian Deep Learning

• arxiv url: http://arxiv.org/abs/2311.14828v1
• Date: Fri, 24 Nov 2023 19:55:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 23:22:07.606652
• Title: Deep Latent Force Models: ODE-based Process Convolutions for Bayesian Deep Learning
• Title（参考訳）: 深層力モデル:ベイズ深層学習のためのODEに基づくプロセス畳み込み
• Authors: Thomas Baldwin-McDonald, Mauricio A. \'Alvarez
• Abstract要約: この問題に対処するためのドメインに依存しないアプローチであるDLFM(Deep Latent Force Model)の概要を述べる。 DLFMの2つの異なる定式化は、重み空間と変分誘導点に基づくガウス過程近似を利用する。 提案手法は,ベンチマーク回帰タスクにおいて,他の多くの確率モデルに匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effectively modeling phenomena present in highly nonlinear dynamical systems whilst also accurately quantifying uncertainty is a challenging task, which often requires problem-specific techniques. We outline the deep latent force model (DLFM), a domain-agnostic approach to tackling this problem, which consists of a deep Gaussian process architecture where the kernel at each layer is derived from an ordinary differential equation using the framework of process convolutions. Two distinct formulations of the DLFM are presented which utilise weight-space and variational inducing points-based Gaussian process approximations, both of which are amenable to doubly stochastic variational inference. We provide evidence that our model is capable of capturing highly nonlinear behaviour in real-world multivariate time series data. In addition, we find that our approach achieves comparable performance to a number of other probabilistic models on benchmark regression tasks. We also empirically assess the negative impact of the inducing points framework on the extrapolation capabilities of LFM-based models.
• Abstract（参考訳）: 非常に非線形な力学系に存在する現象を効果的にモデル化する一方で、不確実性を正確に定量化することは困難であり、しばしば問題固有の技術を必要とする。 プロセス畳み込みの枠組みを用いて各層におけるカーネルを通常の微分方程式から導出する深いガウス的プロセスアーキテクチャからなる、この問題に対処するためのドメインに依存しないアプローチであるDLFMについて概説する。 dlfmの2つの異なる定式化は、重み空間と変分誘導点に基づくガウス過程近似を利用しており、どちらも二重確率的変分推論に適している。 本モデルが実世界の多変量時系列データにおいて高度に非線形な挙動を捉えることができることを示す。 さらに,本手法は,ベンチマーク回帰タスクにおいて,他の多くの確率モデルに匹敵する性能を実現する。 また, LFMモデルにおけるインジェクションポイントフレームワークが外挿能力に与える影響を実験的に評価した。

関連論文リスト

• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling [2.1779479916071067]
  より広い範囲のプロセスをサポートすることで拡散モデルを強化する新しいフレームワークを提案する。 また,前処理を学習するための新しいパラメータ化手法を提案する。 結果はNFDMの汎用性と幅広い応用の可能性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T15:10:54Z)
• DiffHybrid-UQ: Uncertainty Quantification for Differentiable Hybrid Neural Modeling [4.76185521514135]
  本稿では,ハイブリッドニューラル微分可能モデルにおける有効かつ効率的な不確実性伝播と推定のための新しい手法DiffHybrid-UQを提案する。 具体的には,データノイズとてんかんの不確かさから生じるアレタリック不確かさと,モデル形状の相違やデータ空間のばらつきから生じるエピステマティック不確かさの両方を効果的に識別し,定量化する。
  論文  参考訳（メタデータ） (2023-12-30T07:40:47Z)
• Data-driven Modeling and Inference for Bayesian Gaussian Process ODEs via Double Normalizing Flows [28.62579476863723]
  本稿では,ODEベクトル場を再パラメータ化するために正規化フローを導入し,データ駆動の事前分布を導出する。 また, GP ODE の後部推定に正規化フローを適用し, 強平均場仮定の問題を解く。 シミュレーション力学系と実世界の人間の動作データに対するアプローチの有効性を検証した。
  論文  参考訳（メタデータ） (2023-09-17T09:28:47Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Approximate Latent Force Model Inference [1.3927943269211591]
  潜在力モデルは、動的システムにおける推論のための純粋にデータ駆動ツールの解釈可能な代替手段を提供する。 ニューラルネットワークのアプローチは、モデルを数千のインスタンスにスケールし、高速で分散的な計算を可能にします。
  論文  参考訳（メタデータ） (2021-09-24T09:55:00Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Compositional Modeling of Nonlinear Dynamical Systems with ODE-based Random Features [0.0]
  この問題に対処するための新しいドメインに依存しないアプローチを提案する。 我々は、通常の微分方程式から導かれる物理インフォームド・ランダムな特徴の合成を用いる。 提案手法は,ベンチマーク回帰タスクにおいて,他の多くの確率モデルに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2021-06-10T17:55:13Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。