論文の概要: Lifted Model Checking for Relational MDPs

• arxiv url: http://arxiv.org/abs/2106.11735v1
• Date: Tue, 22 Jun 2021 13:12:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 20:36:39.053824
• Title: Lifted Model Checking for Relational MDPs
• Title（参考訳）: リレーショナルmdpのためのリフトモデルチェック
• Authors: Wen-Chi Yang, Jean-Fran\c{c}ois Raskin and Luc De Raedt
• Abstract要約: pCTL-REBELは、リレーショナルMDP上のpCTL特性を検証するためのリフトモデルチェック手法である。 pCTLモデル検査手法は, 無限領域であっても, リレーショナルMDPに対して決定可能であることを示す。
• 参考スコア（独自算出の注目度）: 12.574454799055026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model checking has been developed for verifying the behaviour of systems with stochastic and non-deterministic behavior. It is used to provide guarantees about such systems. While most model checking methods focus on propositional models, various probabilistic planning and reinforcement frameworks deal with relational domains, for instance, STRIPS planning and relational Markov Decision Processes. Using propositional model checking in relational settings requires one to ground the model, which leads to the well known state explosion problem and intractability. We present pCTL-REBEL, a lifted model checking approach for verifying pCTL properties on relational MDPs. It extends REBEL, the relational Bellman update operator, which is a lifted value iteration approach for model-based relational reinforcement learning, toward relational model-checking. PCTL-REBEL is lifted, which means that rather than grounding, the model exploits symmetries and reasons at an abstract relational level. Theoretically, we show that the pCTL model checking approach is decidable for relational MDPs even for possibly infinite domains provided that the states have a bounded size. Practically, we contribute algorithms and an implementation of lifted relational model checking, and we show that the lifted approach improves the scalability of the model checking approach.
• Abstract（参考訳）: 確率的および非決定論的振る舞いを持つシステムの挙動を検証するためのモデル検査が開発されている。 このようなシステムに関する保証を提供するために使用される。 ほとんどのモデル検査手法は命題モデルにフォーカスするが、様々な確率的計画と強化フレームワークはリレーショナルドメイン、例えばSTRIPSプランニングやリレーショナルマルコフ決定プロセスを扱う。 リレーショナルセッティングで命題モデルチェックを使用することで、よく知られた状態の爆発問題と難解性につながるモデルを構築する必要がある。 pCTL-REBELはリレーショナルMDP上でのpCTL特性を検証するためのモデルチェック手法である。 これはrelational bellman updateオペレータであるrebelを拡張し、モデルベースリレーショナル強化学習のための値反復アプローチを、リレーショナルモデルチェックへと拡張する。 PCTL-REBELは持ち上げられるため、モデルがグラウンディングするのではなく、抽象的関係レベルで対称性と理由を利用する。 理論的には、pCTLモデルチェック手法は、状態が有界なサイズであるような無限の領域であっても、リレーショナルMDPに対して決定可能であることを示す。 実際に我々は,アルゴリズムとリレーショナルモデル検査の実装に貢献し,リレーショナルモデル検査手法のスケーラビリティを向上することを示す。

関連論文リスト

• Incorporating Domain Knowledge in Deep Neural Networks for Discrete Choice Models [0.5801044612920815]
  本稿では,DCMにおけるデータ駆動型アプローチの可能性を拡張するフレームワークを提案する。 これには、必要な関係を表す擬似データサンプルと、その実現度を測定する損失関数が含まれる。 ケーススタディは、このフレームワークの個別選択分析の可能性を示している。
  論文  参考訳（メタデータ） (2023-05-30T12:53:55Z)
• Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
  予測可能なMDP抽象化(PMA)を提案する。 元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。 我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-02-08T07:37:51Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Relational Action Bases: Formalization, Effective Safety Verification, and Invariants (Extended Version) [67.99023219822564]
  我々はリレーショナルアクションベース(RAB)の一般的な枠組みを紹介する。 RABは両方の制限を解除することで既存のモデルを一般化する。 データ対応ビジネスプロセスのベンチマークにおいて、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-08-12T17:03:50Z)
• Distributional Depth-Based Estimation of Object Articulation Models [21.046351215949525]
  本研究では,奥行き画像から直接,調音モデルパラメータの分布を効率よく学習する手法を提案する。 私たちのコアコントリビューションには、剛体変換に対する分布の新しい表現が含まれています。 本稿では,カテゴリに依存しない調音モデル推定を行う新しい深層学習手法DUST-netを提案する。
  論文  参考訳（メタデータ） (2021-08-12T17:44:51Z)
• Validation and Inference of Agent Based Models [0.0]
  Agent Based Modelling (ABM) は自律エージェントの動作と相互作用をシミュレーションするための計算フレームワークである。 ABCの最近の研究は、近似確率を計算するためのアルゴリズムをますます効率的にしている。 これらをハミルトンCBDの歩行者モデルを用いて検討・比較した。
  論文  参考訳（メタデータ） (2021-07-08T05:53:37Z)
• Control-Oriented Model-Based Reinforcement Learning with Implicit Differentiation [11.219641045667055]
  そこで本研究では,暗黙の微分を用いたモデル学習において,期待値を直接最適化するエンド・ツー・エンドのアプローチを提案する。 モデル不特定化方式におけるアプローチの利点を、確率に基づく手法と比較した理論的および実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2021-06-06T23:15:49Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [55.28436972267793]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。