論文の概要: Robust Counterfactuals for Markov Decision Processes under Statistical and Causal Uncertainties

• arxiv url: http://arxiv.org/abs/2610.20210v1
• Date: Wed, 14 Oct 2026 13:53:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.177607
• Title: Robust Counterfactuals for Markov Decision Processes under Statistical and Causal Uncertainties
• Title（参考訳）: 統計的・因果不確かさ下におけるマルコフ決定過程のロバスト対策
• Abstract要約: 不確実性の2つの源は、MDPの反ファクト推論を複雑にする。 統計的および因果不確実性の両方に頑健なMDPにおける部分的反ファクト推論の枠組みを導入する。 我々のアプローチは、現実的なMDP環境に対して効率的でスケーラブルなままです。
• 参考スコア（独自算出の注目度）: 3.047215509762019
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Counterfactual reasoning (asking what would have happened, had a decision been different) is a powerful tool for identifying causes of failure and explaining the behaviour of AI systems in sequential decision-making tasks. In Markov Decision Processes (MDPs), two sources of uncertainty complicate counterfactual inference: statistical uncertainty in the MDP transitions when the MDP is estimated from trajectory data, and uncertainty about the unknown causal model, as there are multiple structural causal models (SCMs) compatible with each MDP. Existing work addresses these two challenges in isolation. We address both simultaneously by introducing a framework for partial counterfactual inference in MDPs that is robust to both statistical and causal uncertainty. Our approach provides: 1) closed-form analytical bounds for the counterfactual probabilities that are valid across all SCMs entailed by a given interval MDP (IMDP); 2) a method to compute minimal robust interventions to achieve a desired counterfactual outcome via pessimistic value iteration on the induced counterfactual IMDP. Since the latter is constructed using our analytical bounds, our approach remains efficient and scalable to realistic MDP environments. Experiments across multiple case studies demonstrate our method's robustness and practical utility for identifying minimal sets of actions that, if changed, would have led to improved outcomes.
• Abstract（参考訳）: ファクトファクト推論(何が起きたか、決定は違う)は、失敗の原因を特定し、シーケンシャルな意思決定タスクにおけるAIシステムの振る舞いを説明する強力なツールである。 マルコフ決定過程(MDPs)では、MDPが軌道データから推定されるときのMDP遷移の統計的不確実性と、MDPに適合する複数の構造因果モデル(SCMs)が存在するため、未知因果モデルに関する不確実性という2つの不確実性源が逆因果推論を複雑にしている。 既存の作業は、これら2つの課題を分離して解決する。 統計的および因果的不確実性の両方に頑健なMDPに、部分的反ファクト推論の枠組みを導入することにより、両論を同時に解決する。 私たちのアプローチは以下のとおりです。 1) 所定の区間 MDP (IMDP) に係わるすべてのSCMにおいて有効である反事実確率の閉形式解析境界 2) 最小限のロバストな介入を計算し, 誘導された反事実IMDPの悲観的値反復による所望の反事実的結果を達成する方法。 後者は解析的境界を用いて構築されているので,本手法は現実的なMDP環境に対して効率的かつスケーラブルである。 複数のケーススタディにまたがる実験は、我々の手法の堅牢性と実用性を実証し、最小限のアクションの集合を識別し、もし変更すれば、改善された結果をもたらすであろうことを実証した。

関連論文リスト

• Robust Parameter Learning for Uncertain MDPs [55.60489406616378]
  未知のマルコフ決定過程(MDP)を検証するための学習ベースのアプローチは、しばしば不確実なMDPを用いる。 本稿では,パラメータの集合上で遷移確率が表現されるパラメトリックMDP(pMDP)を用いて,そのようなモデルを学習することを提案する。 我々は、経験的遷移周波数からの統計的不確実性をpMDPのパラメータ空間に予測し、基礎となるMDPに対してほぼ正しい(PAC)不確実性モデルを生成する。
  論文  参考訳（メタデータ） (2026-05-02T09:22:05Z)
• Efficient Solution and Learning of Robust Factored MDPs [57.2416302384766]
  未知の環境との相互作用からr-MDPを学習することで、性能保証による堅牢なポリシーの合成が可能になる。 本稿では,因子状態表現に基づくr-MDPの解法と学習法を提案する。
  論文  参考訳（メタデータ） (2025-08-01T15:23:15Z)
• Robust Counterfactual Inference in Markov Decision Processes [3.047215509762019]
  現在のアプローチでは、カウンターファクトを識別するために特定の因果モデルを想定している。 反実遷移確率の厳密な境界を計算できる新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2025-02-19T13:56:20Z)
• SAUP: Situation Awareness Uncertainty Propagation on LLM Agent [52.444674213316574]
  大規模言語モデル(LLM)は多段階エージェントシステムに統合され、様々なアプリケーションにまたがる複雑な意思決定プロセスを可能にする。 既存の不確実性推定手法は主に最終段階の出力に重点を置いており、これは多段階決定プロセスにおける累積的不確実性やエージェントとその環境間の動的相互作用を考慮できない。 LLMエージェントの推論プロセスの各ステップを通じて不確実性を伝播する新しいフレームワークであるSAUPを提案する。
  論文  参考訳（メタデータ） (2024-12-02T01:31:13Z)
• The Curious Price of Distributional Robustness in Reinforcement Learning with a Generative Model [71.59406356321101]
  本稿では,強化学習(RL)におけるモデルロバスト性を検討した。 我々は,デプロイ環境が,名目MDPに規定された不確実性に陥る場合に,最悪の場合のパフォーマンスを最適化する政策を学習することを目的とした,分布的に堅牢なマルコフ決定プロセス(RMDP)の枠組みを採用する。
  論文  参考訳（メタデータ） (2023-05-26T02:32:03Z)
• Robust Anytime Learning of Markov Decision Processes [8.799182983019557]
  データ駆動型アプリケーションでは、限られたデータから正確な確率を導き出すと統計的エラーが発生する。 不確実なMDP(uMDP)は正確な確率を必要としないが、遷移においていわゆる不確実性集合を用いる。 本稿では,ベイズ的推論スキームとロバストポリシーの計算を組み合わせた,頑健な任意の時間学習手法を提案する。
  論文  参考訳（メタデータ） (2022-05-31T14:29:55Z)
• Reinforcement Learning with a Terminator [80.34572413850186]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。