論文の概要: Confidence Sequences for Online Statistical Model Checking of Markov Decision Processes

• arxiv url: http://arxiv.org/abs/2606.25797v1
• Date: Wed, 24 Jun 2026 13:16:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.347495
• Title: Confidence Sequences for Online Statistical Model Checking of Markov Decision Processes
• Title（参考訳）: マルコフ決定過程のオンライン統計モデル検査における信頼度シーケンス
• Abstract要約: 本稿では,このようなオンクレオリン設定に特化して設計された複数のエンフエンシデンスシーケンスについて述べる。 全体的な実装には,従来よりも平均して50分の1のサンプルが必要です。
• 参考スコア（独自算出の注目度）: 6.947242730984886
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Markov decision processes (MDPs) are a classic model of decision making under uncertainty, exhibiting both non-deterministic choice as well as probabilistic uncertainty. Traditionally, exact knowledge of the underlying probabilities is assumed. However, this often is unrealistic, e.g.\ when modelling cyber-physical systems or biological processes. Here, statistical methods provide a way towards obtaining meaningful guarantees. The classical approach is to gather samples in the MDP, use these to draw statistical conclusions about the transition probabilities, and from there obtain bounds on the true value; then, if these bounds are too broad, repeat. However, existing implementations of this approach are either subtly incorrect or sub-optimal, and quite often both. We present several \emph{confidence sequences}, which are specifically designed for such \enquote{online} settings, implement all of them in an efficient tool, and show their practical applicability. In particular, we show that they outperform classical \enquote{union-bound} style approaches, and overall our implementation requires 50x less samples on average than previous state of the art.
• Abstract（参考訳）: マルコフ決定過程(MDPs)は、不確実性の下での意思決定の古典的なモデルであり、非決定論的選択と確率的不確実性の両方を示す。 伝統的に、基礎となる確率の正確な知識が仮定される。 しかし、これはしばしば非現実的であり、例えば、サイバー物理システムや生物学的過程をモデル化する場合である。 ここで、統計的手法は有意義な保証を得るための手段を提供する。 古典的なアプローチは、MDPのサンプルを集め、これらを使って遷移確率に関する統計的結論を導き、そこから真値の有界を得る。 しかし、このアプローチの既存の実装は、微妙に不正確か、あるいは準最適かのどちらかであり、しばしば両方である。 このような「enquote{online}」設定用に特別に設計された「emph{confidence sequence」をいくつか提示し、これらすべてを効率的なツールで実装し、実用性を示す。 特に,従来の"enquote{union-bound}"スタイルのアプローチよりも優れており,我々の実装全体は,従来の最先端技術よりも平均50倍少ないサンプルを必要とする。

関連論文リスト

• Deterministic Mode Proposals: An Efficient Alternative to Generative Sampling for Ambiguous Segmentation [3.5493798890908113]
  本稿では,1つのフォワードパスで提案マスクの固定サイズの集合を効率よく生成する決定論的フレームワークを提案する。 提案手法は,既存の生成モデルよりも高信頼度を達成しつつ,推論時間を著しく短縮する。 我々のモデルは結果の完全な分布を知らずにトレーニングでき、実際のデータセットに適用可能であることを実証する。
  論文  参考訳（メタデータ） (2026-03-20T17:59:26Z)
• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• Distances for Markov chains from sample streams [16.443304244634767]
  シミュレーションメトリクスは、プロセス間の類似性、特にマルコフ連鎖を測定する強力なツールである。 近年の進歩により、バイシミュレーションのメトリクスは、実際、最適な輸送距離であり、証明可能な精度と実行時の保証で、そのようなメトリクスを計算するための高速なアルゴリズムの開発を可能にしていることが判明した。 これは多くの場合、ほとんどの実世界のシナリオでは非現実的な仮定であり、典型的にはサンプル軌道のみが利用可能である。 本稿では,この制限に対処する新しい最適化手法を提案し,サンプルアクセスに基づくバイシミュレーションのメトリクスを,明示的な遷移モデルを必要とせずに推定する。
  論文  参考訳（メタデータ） (2025-05-23T15:09:04Z)
• Conformal Calibration of Statistical Confidence Sets [1.8840155706520811]
  本研究では,TRUSTとTRUST++という2つの新しい手法を導入する。 我々は,本手法が既存のアプローチ,特に小サンプル方式よりも優れていることを実証した。
  論文  参考訳（メタデータ） (2024-11-28T20:45:59Z)
• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• What Are the Odds? Improving the foundations of Statistical Model Checking [3.789219860006095]
  マルコフ決定プロセス(MDP)は不確実性の下での意思決定の基本的なモデルである。 従来の検証アルゴリズムは、MDPの振る舞いを管理する確率の正確な知識を前提としている。 我々はMDPの知識を活用する専門的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-08T11:47:46Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems [49.75149094527068]
  拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。 本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。 推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
  論文  参考訳（メタデータ） (2023-06-13T03:42:03Z)
• Sampling-Based Robust Control of Autonomous Systems with Non-Gaussian Noise [59.47042225257565]
  雑音分布の明示的な表現に依存しない新しい計画法を提案する。 まず、連続系を離散状態モデルに抽象化し、状態間の確率的遷移によってノイズを捕捉する。 いわゆる区間マルコフ決定過程(iMDP)の遷移確率区間におけるこれらの境界を捉える。
  論文  参考訳（メタデータ） (2021-10-25T06:18:55Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。