論文の概要: Deep Belief Markov Models for POMDP Inference

• arxiv url: http://arxiv.org/abs/2503.13438v1
• Date: Mon, 17 Mar 2025 17:58:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:34:13.704348
• Title: Deep Belief Markov Models for POMDP Inference
• Title（参考訳）: POMDP推論のためのディープリーフマルコフモデル
• Authors: Giacomo Arcieri, Konstantinos G. Papakonstantinou, Daniel Straub, Eleni Chatzi,
• Abstract要約: この研究は、Deep Belief Markov Model (DBMM)と呼ばれる新しいディープラーニングベースのアーキテクチャを導入している。 DBMMは、部分観測可能なマルコフ決定プロセス(POMDP)における効率的なモデル式推論を提供する。 ベンチマーク問題におけるDBMMのモデル形式に依存しない推論能力を評価することにより,提案手法の有効性を評価する。
• 参考スコア（独自算出の注目度）: 0.40498500266986387
• License:
• Abstract: This work introduces a novel deep learning-based architecture, termed the Deep Belief Markov Model (DBMM), which provides efficient, model-formulation agnostic inference in Partially Observable Markov Decision Process (POMDP) problems. The POMDP framework allows for modeling and solving sequential decision-making problems under observation uncertainty. In complex, high-dimensional, partially observable environments, existing methods for inference based on exact computations (e.g., via Bayes' theorem) or sampling algorithms do not scale well. Furthermore, ground truth states may not be available for learning the exact transition dynamics. DBMMs extend deep Markov models into the partially observable decision-making framework and allow efficient belief inference entirely based on available observation data via variational inference methods. By leveraging the potency of neural networks, DBMMs can infer and simulate non-linear relationships in the system dynamics and naturally scale to problems with high dimensionality and discrete or continuous variables. In addition, neural network parameters can be dynamically updated efficiently based on data availability. DBMMs can thus be used to infer a belief variable, thus enabling the derivation of POMDP solutions over the belief space. We evaluate the efficacy of the proposed methodology by evaluating the capability of model-formulation agnostic inference of DBMMs in benchmark problems that include discrete and continuous variables.
• Abstract（参考訳）: この研究は、Deep Belief Markov Model (DBMM)と呼ばれる新しいディープラーニングベースのアーキテクチャを導入し、部分観測可能なマルコフ決定プロセス(POMDP)における効率的なモデル形式に依存しない推論を提供する。 POMDPフレームワークは、観測の不確実性の下でのシーケンシャルな意思決定問題のモデル化と解決を可能にする。 複雑で高次元で部分的に観測可能な環境では、正確な計算(例えばベイズの定理による)やサンプリングアルゴリズムに基づく推論の既存の方法は、うまくスケールしない。 さらに、基底真理状態は、正確な遷移力学を学ぶために利用できないかもしれない。 DBMMは、深いマルコフモデルを部分的に観測可能な意思決定フレームワークに拡張し、変分推論手法を通じて利用可能な観測データに基づいた効率的な信念推論を可能にする。 ニューラルネットワークの有効性を活用することで、DBMMはシステム力学における非線形関係を推論し、シミュレートし、高次元かつ離散的あるいは連続的な変数を持つ問題に自然にスケールすることができる。 さらに、データ可用性に基づいてニューラルネットワークパラメータを動的に更新することも可能だ。 したがって、DBMMは信念変数を推論するために使用することができ、したがって信念空間上のPOMDP解の導出を可能にする。 離散変数と連続変数を含むベンチマーク問題において,DBMMのモデル形式に依存しない推論能力を評価することにより,提案手法の有効性を評価する。

関連論文リスト

• Robust Counterfactual Inference in Markov Decision Processes [1.5197843979051473]
  現在のアプローチでは、カウンターファクトを識別するために特定の因果モデルを想定している。 反実遷移確率の厳密な境界を計算できる新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2025-02-19T13:56:20Z)
• Variational Inference of Parameters in Opinion Dynamics Models [9.51311391391997]
  この研究は、変数推論を用いて、意見力学 ABM のパラメータを推定する。 我々は推論プロセスを自動微分に適した最適化問題に変換する。 提案手法は, シミュレーションベース法とMCMC法より, マクロ的(有界信頼区間とバックファイア閾値)と微視的(200ドル, エージェントレベルの役割)の両方を正確に推定する。
  論文  参考訳（メタデータ） (2024-03-08T14:45:18Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• POMDP inference and robust solution via deep reinforcement learning: An application to railway optimal maintenance [0.7046417074932257]
  深部RLを用いたPMDPの推論とロバストな解法の組み合わせを提案する。 まず、すべての遷移モデルと観測モデルパラメータは、隠れマルコフモデルのマルコフ・チェイン・モンテ・カルロサンプリングによって共同で推論される。 パラメータが不確実なPOMDPは、パラメータ分布を領域ランダム化によって解に組み込んだ深部RL手法によって解決される。
  論文  参考訳（メタデータ） (2023-07-16T15:44:58Z)
• Free-Form Variational Inference for Gaussian Process State-Space Models [21.644570034208506]
  ベイズGPSSMにおける新しい推論法を提案する。 本手法はハミルトニアンモンテカルロの誘導による自由形式変分推論に基づく。 提案手法は, 競合する手法よりも, 遷移力学や潜伏状態をより正確に学習できることを示す。
  論文  参考訳（メタデータ） (2023-02-20T11:34:16Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Bridging POMDPs and Bayesian decision making for robust maintenance planning under model uncertainty: An application to railway systems [0.7046417074932257]
  利用可能なデータから直接,POMDP遷移と観測モデルパラメータを推定するフレームワークを提案する。 次に、推定分布を利用して、POMDP問題を定式化し、解決する。 我々は軌道資産の維持計画に我々のアプローチをうまく適用した。
  論文  参考訳（メタデータ） (2022-12-15T16:09:47Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。