論文の概要: Bridging POMDPs and Bayesian decision making for robust maintenance
planning under model uncertainty: An application to railway systems
- arxiv url: http://arxiv.org/abs/2212.07933v1
- Date: Thu, 15 Dec 2022 16:09:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 16:24:02.795996
- Title: Bridging POMDPs and Bayesian decision making for robust maintenance
planning under model uncertainty: An application to railway systems
- Title（参考訳）: モデル不確実性下における頑健な保守計画のためのPMDPのブリッジとベイジアン決定:鉄道システムへの適用
- Authors: Giacomo Arcieri, Cyprien Hoelzl, Oliver Schwery, Daniel Straub,
Konstantinos G. Papakonstantinou, Eleni Chatzi
- Abstract要約: 利用可能なデータから直接,POMDP遷移と観測モデルパラメータを推定するフレームワークを提案する。
次に、推定分布を利用して、POMDP問題を定式化し、解決する。
我々は軌道資産の維持計画に我々のアプローチをうまく適用した。
- 参考スコア（独自算出の注目度）: 0.7046417074932257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structural Health Monitoring (SHM) describes a process for inferring
quantifiable metrics of structural condition, which can serve as input to
support decisions on the operation and maintenance of infrastructure assets.
Given the long lifespan of critical structures, this problem can be cast as a
sequential decision making problem over prescribed horizons. Partially
Observable Markov Decision Processes (POMDPs) offer a formal framework to solve
the underlying optimal planning task. However, two issues can undermine the
POMDP solutions. Firstly, the need for a model that can adequately describe the
evolution of the structural condition under deterioration or corrective actions
and, secondly, the non-trivial task of recovery of the observation process
parameters from available monitoring data. Despite these potential challenges,
the adopted POMDP models do not typically account for uncertainty on model
parameters, leading to solutions which can be unrealistically confident. In
this work, we address both key issues. We present a framework to estimate POMDP
transition and observation model parameters directly from available data, via
Markov Chain Monte Carlo (MCMC) sampling of a Hidden Markov Model (HMM)
conditioned on actions. The MCMC inference estimates distributions of the
involved model parameters. We then form and solve the POMDP problem by
exploiting the inferred distributions, to derive solutions that are robust to
model uncertainty. We successfully apply our approach on maintenance planning
for railway track assets on the basis of a "fractal value" indicator, which is
computed from actual railway monitoring data.
- Abstract（参考訳）: 構造ヘルスモニタリング(shm)は、インフラ資産の運用と維持に関する決定を支援するインプットとして機能する、構造状態の定量化可能な指標を推測するプロセスである。
臨界構造の長い寿命を考えると、この問題は与えられた地平線上での逐次的意思決定問題としてキャストできる。
部分的に観測可能なマルコフ決定プロセス(POMDP)は、基礎となる最適な計画課題を解決するための正式なフレームワークを提供する。
しかし、2つの問題がPOMDPソリューションを損なう可能性がある。
第1に,劣化や補正動作下での構造状態の進化を適切に記述できるモデルの必要性,第2に,利用可能な監視データから観測過程パラメータを回復する非自明なタスクが必要である。
これらの潜在的な課題にもかかわらず、採用されているPOMDPモデルは一般にモデルパラメータの不確実性を考慮せず、非現実的な自信を持つ解をもたらす。
この作業では、両方の重要な問題に対処します。
本稿では,マルコフ・チェイン・モンテカルロ (MCMC) によるHMM (Hidden Markov Model) のサンプリングにより,PMDP遷移と観測モデルパラメータを直接推定する枠組みを提案する。
MCMC推論は、関連するモデルパラメータの分布を推定する。
次に、推定分布を利用してPOMDP問題を定式化し、不確実性モデルに頑健な解を導出する。
我々は,実際の鉄道監視データから算出した「フラクタル値」指標に基づいて,鉄道線路資産の維持計画へのアプローチをうまく適用した。
関連論文リスト
- The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。
我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。
私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
論文 参考訳（メタデータ） (2025-01-13T13:10:16Z) - POMDP inference and robust solution via deep reinforcement learning: An
application to railway optimal maintenance [0.7046417074932257]
深部RLを用いたPMDPの推論とロバストな解法の組み合わせを提案する。
まず、すべての遷移モデルと観測モデルパラメータは、隠れマルコフモデルのマルコフ・チェイン・モンテ・カルロサンプリングによって共同で推論される。
パラメータが不確実なPOMDPは、パラメータ分布を領域ランダム化によって解に組み込んだ深部RL手法によって解決される。
論文 参考訳（メタデータ） (2023-07-16T15:44:58Z) - Learning non-Markovian Decision-Making from State-only Sequences [57.20193609153983]
非マルコフ決定過程(nMDP)を用いた状態のみ列のモデルに基づく模倣を開発する。
非マルコフ制約をもつ経路計画課題において提案手法の有効性を示す。
論文 参考訳（メタデータ） (2023-06-27T02:26:01Z) - CAR-DESPOT: Causally-Informed Online POMDP Planning for Robots in
Confounded Environments [5.979296454783688]
正確で堅牢な行動予測を行う上での大きな課題は、コンファウンディングの問題である。
部分的に観測可能なマルコフ決定プロセス(POMDP)は、これらと部分的に観測可能な意思決定問題をモデル化するための広く使われているフレームワークである。
本稿では,不測な共同設立変数による誤りを解消するために,「常時正規化決定された部分観測木」(AR-DESPOT)の因果的インフォームド拡張を提案する。
論文 参考訳（メタデータ） (2023-04-13T22:32:21Z) - Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。
元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。
我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文 参考訳（メタデータ） (2023-02-08T07:37:51Z) - Reinforcement Learning with a Terminator [80.34572413850186]
我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。
我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
論文 参考訳（メタデータ） (2022-05-30T18:40:28Z) - Identification of Unexpected Decisions in Partially Observable
Monte-Carlo Planning: a Rule-Based Approach [78.05638156687343]
本稿では,POMCPポリシーをトレースを検査して分析する手法を提案する。
提案手法は, 政策行動の局所的特性を探索し, 予期せぬ決定を識別する。
我々は,POMDPの標準ベンチマークであるTigerに対するアプローチと,移動ロボットナビゲーションに関する現実の問題を評価した。
論文 参考訳（メタデータ） (2020-12-23T15:09:28Z) - Stein Variational Model Predictive Control [130.60527864489168]
不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。
モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。
この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
論文 参考訳（メタデータ） (2020-11-15T22:36:59Z) - Structural Estimation of Partially Observable Markov Decision Processes [3.1614382994158956]
プロセスの観測可能な履歴に基づいて,POMDPモデルのプリミティブの構造的推定を考察する。
本稿では, 最適機器交換への適用例として, 推定手法について述べる。
論文 参考訳（メタデータ） (2020-08-02T15:04:27Z) - Value of structural health information in partially observable
stochastic environments [0.0]
情報の価値(VoI)と構造健康モニタリング(VoSHM)の理論的・計算的基礎を紹介し,研究する。
この結果から,POMDP政策はVoIの概念を本質的に活用し,各決定ステップにおいて最適な方法で観測行動の導出を行うことが示唆された。
論文 参考訳（メタデータ） (2019-12-28T22:18:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。