論文の概要: Windowed A-K-MDP

• arxiv url: http://arxiv.org/abs/2609.13676v1
• Date: Sat, 12 Sep 2026 03:01:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.468104
• Title: Windowed A-K-MDP
• Title（参考訳）: ウィンドウ化A-K-MDP
• Abstract要約: K-MDP法は、ほとんどのK抽象状態を持つより単純なMDPを構築することでこの問題に対処する。 従来提案したA-K-MDPアルゴリズムは,二進探索を用いた離散化因子の選択に依存しており,より抽象的な状態をスキップできることを示す。 我々は、宣言されたディバイザウィンドウ内で誘導される全ての異なる可能なパーティションを生成するアルゴリズムであるWindowed A-K-MDPを提案する。
• 参考スコア（独自算出の注目度）: 2.4687962186994663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Markov decision processes (MDPs) are used to support decision-making in conservation of biodiversity, but policies, even over small state spaces, can be difficult to interpret for conservation managers. K-MDP methods address this problem by building simpler MDPs with at most K abstract states. We show that the previously proposed A-K-MDP algorithm that relies on selecting a discretisation divisor using binary search can skip better abstract states. To fix this issue, we propose Windowed A-K-MDP, an algorithm that generates every distinct feasible partition induced within a declared divisor window and evaluates candidates until reaching the ideal value loss (J = 0) or exhausting the family of candidates. Across 33 K-MDP instances, Windowed improved 25 and tied 8.
• Abstract（参考訳）: マルコフ決定プロセス(MDP)は、生物多様性の保全における意思決定を支援するために使用されるが、小さな状態空間でさえも、保護管理者を解釈することは困難である。 K-MDP法は、ほとんどのK抽象状態を持つより単純なMDPを構築することでこの問題に対処する。 従来提案したA-K-MDPアルゴリズムは,二進探索を用いた離散化因子の選択に依存しており,より抽象的な状態をスキップできることを示す。 この問題を解決するために,ウィンドウ付きA-K-MDPを提案する。このアルゴリズムは,宣言されたディバイザウィンドウ内で誘導されるすべての異なる実現可能なパーティションを生成し,理想的な値損失(J = 0)に達するまで候補を評価する。 33のK-MDPインスタンスで、ウィンドウドは25の改善と8。

関連論文リスト

• Realizable Abstractions: Near-Optimal Hierarchical Reinforcement Learning [4.024538378639506]
  本稿では,ジェネリック低レベルMDPとそれに関連する高レベル意思決定プロセスとの新たな関係であるRealizable Abstractionsを定義した。 我々は,任意の抽象的ポリシーを,選択肢の適切な構成を通じて,低レベルMDPの準最適ポリシーに翻訳可能であることを示す。 本稿では,合成および準最適低レベルポリシを返す新しいHRLアルゴリズムであるRARLを提案する。
  論文  参考訳（メタデータ） (2025-12-04T16:26:56Z)
• Taming Infinity one Chunk at a Time: Concisely Represented Strategies in One-Counter MDPs [2.7262923206583136]
  無限のMDPのクラスについて研究する:1カウンタMDP(OC-MDP) 目標状態(状態到達性)と目標状態(反値ゼロ)の2つの特徴的目的を考察する。 間隔におけるカウンター値の(おそらく無限)分割に基づく簡潔に表現された戦略の2つの自然なクラスを導入する。
  論文  参考訳（メタデータ） (2025-03-02T08:32:17Z)
• Robust Counterfactual Inference in Markov Decision Processes [3.047215509762019]
  現在のアプローチでは、カウンターファクトを識別するために特定の因果モデルを想定している。 反実遷移確率の厳密な境界を計算できる新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2025-02-19T13:56:20Z)
• Prospective Side Information for Latent MDPs [80.00842638151558]
  本報告では,各エピソードの開始時に,エージェントが付加的,弱く露呈する情報を受信した場合に,予測側情報を用いたLMDPのクラスについて検討する。 驚くべきことに、この問題は、部分的に観察された環境のために設計された現代の設定やアルゴリズムによって捉えられていない。 すると、サンプル効率の良いアルゴリズムは、標準の$Omega(K2/3)$-regretとは対照的に、少なくとも$Omega(K2/3)$-regretを被ることを確立し、一致する上限を持つアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-10-11T15:37:31Z)
• B$^3$RTDP: A Belief Branch and Bound Real-Time Dynamic Programming Approach to Solving POMDPs [17.956744635160568]
  我々は,Belief Branch and Bound RTDP (B$3$RTDP) と呼ぶRTDP-Belアルゴリズムの拡張を提案する。 我々のアルゴリズムは有界値関数表現を使い、これを2つの新しい方法で活用する。 B$3$RTDPは、既知のPOMDP問題に対する最先端のSARSOP解法よりも少ない時間で大きなリターンが得られることを実証的に実証した。
  論文  参考訳（メタデータ） (2022-10-22T21:42:59Z)
• Optimality Guarantees for Particle Belief Approximation of POMDPs [55.83001584645448]
  部分的に観測可能なマルコフ決定プロセス(POMDP)は、現実の意思決定と制御の問題に対する柔軟な表現を提供する。 POMDPは、特に状態と観測空間が連続的またはハイブリッドである場合、解決するのが非常に難しい。 本稿では,これらのアルゴリズムが使用する粒子フィルタリング手法の近似誤差を特徴付ける理論を提案する。
  論文  参考訳（メタデータ） (2022-10-10T21:11:55Z)
• Continuous MDP Homomorphisms and Homomorphic Policy Gradient [51.25171126424949]
  MDP準同型の定義を拡張し、連続状態空間における連続的な作用を包含する。 本稿では,政策とMDP準同型写像を同時に学習できるアクター批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-15T15:26:49Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Safe Exploration by Solving Early Terminated MDP [77.10563395197045]
  我々は、Early TerminatedP(ET-MDP)の枠組みの下で、安全なRL問題に対処する新しいアプローチを導入する。 まず、ET-MDPを対応するCMDPと同じ最適値関数を持つ非制約アルゴリズムとして定義する。 そこで,文脈モデルに基づく非政治アルゴリズムを提案し,ET-MDPを解き,それに対応するCMDPをより良い性能で解き,学習効率を向上する。
  論文  参考訳（メタデータ） (2021-07-09T04:24:40Z)
• RL for Latent MDPs: Regret Guarantees and a Lower Bound [74.41782017817808]
  後期マルコフ決定過程(LMDP)における強化学習における後悔問題の検討 LMDPにおいて、M$可能なMDPのセットからMDPをランダムに描画するが、選択したMDPの同一性はエージェントに明らかにしない。 鍵となるリンクは、MDPシステムの力学の分離の概念であることを示す。
  論文  参考訳（メタデータ） (2021-02-09T16:49:58Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。