論文の概要: On the Stochastic Stability of Deep Markov Models

• arxiv url: http://arxiv.org/abs/2111.04601v1
• Date: Mon, 8 Nov 2021 16:14:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 17:49:51.403746
• Title: On the Stochastic Stability of Deep Markov Models
• Title（参考訳）: ディープマルコフモデルの確率的安定性について
• Authors: J\'an Drgo\v{n}a, Sayak Mukherjee, Jiaxin Zhang, Frank Liu, Mahantesh Halappanavar
• Abstract要約: ディープマルコフモデル(ディープマルコフモデル、英: Deep Markov model、DMM)は、マルコフモデルの表現、学習、推論問題に対するスケーラブルな一般化である。 動的システムの文脈で定義されたDMMの確率安定性の十分な条件を提供する。 安定度を保証した制約付きDMMを設計するための実用的な方法をいくつか提案する。
• 参考スコア（独自算出の注目度）: 2.417285483528549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Markov models (DMM) are generative models that are scalable and expressive generalization of Markov models for representation, learning, and inference problems. However, the fundamental stochastic stability guarantees of such models have not been thoroughly investigated. In this paper, we provide sufficient conditions of DMM's stochastic stability as defined in the context of dynamical systems and propose a stability analysis method based on the contraction of probabilistic maps modeled by deep neural networks. We make connections between the spectral properties of neural network's weights and different types of used activation functions on the stability and overall dynamic behavior of DMMs with Gaussian distributions. Based on the theory, we propose a few practical methods for designing constrained DMMs with guaranteed stability. We empirically substantiate our theoretical results via intuitive numerical experiments using the proposed stability constraints.
• Abstract（参考訳）: ディープマルコフモデル(ディープマルコフモデル、英: Deep Markov model、DMM)は、マルコフモデルの表現、学習、推論問題に対するスケーラブルで表現力豊かな一般化である。 しかし、そのようなモデルの基本的な確率的安定性は十分に研究されていない。 本稿では,DMMの確率安定性を力学系の文脈で定義した十分条件を提供し,深層ニューラルネットワークでモデル化された確率的写像の縮約に基づく安定性解析法を提案する。 我々は、ニューラルネットワークの重みのスペクトル特性と、ガウス分布を持つDMMの安定性と全体的な動的挙動に関する様々な利用活性化関数とを関連付ける。 この理論に基づいて,安定度を保証した制約付きDMMを設計するための実用的手法を提案する。 提案した安定性制約を用いた直観的な数値実験により理論的結果を実証的に裏付ける。

関連論文リスト

• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Deep Latent Force Models: ODE-based Process Convolutions for Bayesian Deep Learning [0.0]
  深潜力モデル (DLFM) は、各層に物理インフォームドカーネルを持つ深いガウス過程である。 我々はDLFMの非線形実世界の時系列データに現れるダイナミクスを捉える能力の実証的証拠を提示する。 DLFMは,非物理インフォームド確率モデルに匹敵する性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-11-24T19:55:57Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Bagging, optimized dynamic mode decomposition (BOP-DMD) for robust, stable forecasting with spatial and temporal uncertainty-quantification [2.741266294612776]
  動的モード分解(DMD)は、時間的または時間的データのスナップショット上で、最適な線形力学モデルを学習するためのフレームワークを提供する。 DMDアルゴリズムの大多数は、力学のノイズ測定によるバイアスエラーを起こしやすいため、モデル適合性の低下と不安定な予測能力に繋がる。 最適化されたMDDアルゴリズムは、変数予測最適化によりモデルバイアスを最小限に抑え、安定化された予測能力をもたらす。
  論文  参考訳（メタデータ） (2021-07-22T18:14:20Z)
• Deep neural network enabled corrective source term approach to hybrid analysis and modeling [0.0]
  ハイブリッド分析モデリング(Hybrid Analysis and Modeling, HAM)は、物理に基づくモデリングとデータ駆動モデリングを組み合わせることを目的とした、新しいモデリングパラダイムである。 補正元項アプローチ(CoSTA)のHAMに対する新しいアプローチを導入し、正当化し、実証する。
  論文  参考訳（メタデータ） (2021-05-24T20:17:13Z)
• Almost Surely Stable Deep Dynamics [4.199844472131922]
  本稿では,観測データから安定なディープニューラルネットワークに基づく動的モデルを学ぶ手法を提案する。 本手法は,lyapunovニューラルネットワークを動的モデルに組み込むことにより,本質的に安定性基準を満たす。
  論文  参考訳（メタデータ） (2021-03-26T20:37:08Z)
• ImitationFlow: Learning Deep Stable Stochastic Dynamic Systems by Normalizing Flows [29.310742141970394]
  我々は,世界規模で安定な非線形力学を学習できる新しいDeep生成モデルであるImitationFlowを紹介した。 提案手法の有効性を,標準データセットと実ロボット実験の両方で示す。
  論文  参考訳（メタデータ） (2020-10-25T14:49:46Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。