論文の概要: On-line Learning in Tree MDPs by Treating Policies as Bandit Arms

• arxiv url: http://arxiv.org/abs/2605.04979v1
• Date: Wed, 06 May 2026 14:32:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.879936
• Title: On-line Learning in Tree MDPs by Treating Policies as Bandit Arms
• Title（参考訳）: バンディットアームとしての政策による樹木MDPのオンライン学習
• Abstract要約: ツリーマルコフ決定問題 (Tree Markov Decision Problem, T-MDP) は、開始状態が$s_1$の有限水平計算 MDP である。 我々は,T-MDPに対して,各ポリシーをアームとして扱うことで,よく知られたバンディットアルゴリズムを適用することができることを示す。 私たちの主なイノベーションは、ポリシーによって共有されるデータに基づいて信頼性境界を設計することにあります。
• 参考スコア（独自算出の注目度）: 3.4594847881266517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A Tree Markov Decision Problem (T-MDP) is a finite-horizon MDP with a starting state $s_{1}$, in which every state is reachable from $s_{1}$ through exactly one state-action trajectory. T-MDPs arise naturally as abstractions of decision making in sequential games with perfect recall, against stationary opponents. We consider the problem of on-line learning in T-MDPs, both in the PAC and the regret-minimisation regimes. We show that well-known bandit algorithms -- \textsc{Lucb} and \textsc{Ucb} -- can be applied on T-MDPs by treating each policy as an arm. The apparent technical challenge in this approach is that the number of policies is exponential in the number of states. Our main innovation is in the design of confidence bounds based on data shared by the policies, so that the bandit algorithms can yet be implemented with polynomial memory and per-step computation. We obtain instance-dependent upper bounds on sample complexity and regret that sum a ``gap term'' from every terminal state, rather than every policy. Empirically, our algorithms consistently outperform available alternatives on a suite of hidden-information games.
• Abstract（参考訳）: ツリーマルコフ決定問題 (Tree Markov Decision Problem, T-MDP) は、開始状態 $s_{1}$ の有限水平 MDP である。 T-MDPは、静止相手に対して完全にリコールされたシーケンシャルゲームにおける決定の抽象化として自然に現れる。 我々は,T-MDPにおけるオンライン学習の問題点を,PACと後悔最小化体制の両方において考察する。 本稿では、T-MDPに対して、各ポリシーをアームとして扱うことで、よく知られた帯域幅アルゴリズム -- \textsc{Lucb} と \textsc{Ucb} が適用可能であることを示す。 このアプローチの明らかな技術的課題は、政策の数が州数で指数関数的であることである。 我々の主な革新は、ポリシーによって共有されるデータに基づく信頼境界の設計であり、帯域幅アルゴリズムは多項式メモリとステップごとの計算で実装できる。 サンプルの複雑さと、すべてのポリシーではなく、すべての端末状態から‘ギャップ項’を和したことを後悔する点について、インスタンス依存の上限を得る。 経験的に、私たちのアルゴリズムは、隠れ情報ゲームで利用可能な選択肢を一貫して上回ります。

関連論文リスト

• Model Predictive Control is almost Optimal for Heterogeneous Restless Multi-armed Bandits [6.402634424631123]
  ランダムなラウンドリングを持つ自然な有限水平LP更新ポリシーは、無限時間平均報酬問題において$O(log Nsqrt1/N)$Optimity gapを達成することを示す。 本研究は, 共分散性の概念を提唱し, 予測制御文学の手法を取り入れたものである。
  論文  参考訳（メタデータ） (2025-11-11T10:53:49Z)
• Best-Effort Policies for Robust Markov Decision Processes [69.60742680559788]
  我々は、ロバスト MDP (RMDPs) として知られる遷移確率の組によるマルコフ決定過程(MDPs)の共通一般化について研究する。 このような政策を最適な堅牢なベストプラクティス(ORBE)政策と呼ぶ。 我々はORBEポリシーが常に存在することを証明し、その構造を特徴付け、標準的なロバストな値反復よりも小さなオーバヘッドで計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-08-11T09:18:34Z)
• Truly No-Regret Learning in Constrained MDPs [61.78619476991494]
  未知のCMDPで学習するモデルベース原始双対アルゴリズムを提案する。 提案アルゴリズムは,誤差のキャンセルを伴わずにサブ線形後悔を実現する。
  論文  参考訳（メタデータ） (2024-02-24T09:47:46Z)
• Model-Free, Regret-Optimal Best Policy Identification in Online CMDPs [17.62509045102346]
  本稿では,CMDP(Constrained Markov Decision Processs)における最適ポリシー識別問題について考察する。 私たちは、モデルフリーで、後悔の少ないアルゴリズムに興味を持ち、確率の高いほぼ最適なポリシーを特定しています。 オンラインCMDPのサブ線形後悔と制約違反を伴う既存のモデルフリーアルゴリズムでは、最適ポリシーに対する収束保証は提供されない。
  論文  参考訳（メタデータ） (2023-09-27T04:33:09Z)
• Nearly Optimal Latent State Decoding in Block MDPs [74.51224067640717]
  エピソードブロック MDP では、意思決定者は少数の潜在状態から生成される豊富な観測やコンテキストにアクセスすることができる。 まず、固定動作ポリシーに基づいて生成されたデータに基づいて、潜時状態復号関数を推定することに興味がある。 次に、報酬のないフレームワークにおいて、最適に近いポリシーを学習する問題について研究する。
  論文  参考訳（メタデータ） (2022-08-17T18:49:53Z)
• Efficient Policy Iteration for Robust Markov Decision Processes via Regularization [49.05403412954533]
  ロバストな意思決定プロセス(MDP)は、システムのダイナミクスが変化している、あるいは部分的にしか知られていない決定問題をモデル化するためのフレームワークを提供する。 最近の研究は、長方形長方形の$L_p$頑健なMDPと正規化されたMDPの等価性を確立し、標準MDPと同じレベルの効率を享受する規則化されたポリシー反復スキームを導出した。 本研究では、政策改善のステップに焦点をあて、欲求政策と最適なロバストなベルマン作用素のための具体的な形式を導出する。
  論文  参考訳（メタデータ） (2022-05-28T04:05:20Z)
• Horizon-Free Reinforcement Learning in Polynomial Time: the Power of Stationary Policies [88.75843804630772]
  我々は既存の境界に対して,$Oleft(mathrmpoly(S,A,log K)sqrtKright)を後悔するアルゴリズムを設計する。 この結果は、定常政策の近似力、安定性、および濃度特性を確立する新しい構造補題の列に依存している。
  論文  参考訳（メタデータ） (2022-03-24T08:14:12Z)
• Reinforcement Learning for Finite-Horizon Restless Multi-Armed Multi-Action Bandits [8.136957953239254]
  本稿では、R(MA)2Bと呼ばれる複数の動作を持つ有限ホライゾンレス・マルチアームバンディット問題について検討する。 各アームの状態は、制御されたマルコフ決定プロセス(MDP)に従って進化し、アームを引く報酬は、対応するMDPの現在の状態と、取られたアクションの両方に依存する。 最適政策の発見は典型的には難解であるため,我々はOccupancy-Measured-Reward Index Policyと呼ぶ,計算に訴える指標ポリシーを提案する。
  論文  参考訳（メタデータ） (2021-09-20T21:40:12Z)
• Softmax Policy Gradient Methods Can Take Exponential Time to Converge [60.98700344526674]
  Softmax Policy gradient(PG)メソッドは、現代の強化学習におけるポリシー最適化の事実上の実装の1つです。 ソフトマックス PG 法は、$mathcalS|$ および $frac11-gamma$ の観点から指数時間で収束できることを実証する。
  論文  参考訳（メタデータ） (2021-02-22T18:56:26Z)
• Strengthening Deterministic Policies for POMDPs [5.092711491848192]
  我々は、時間論理制約の形で洗練された仕様をサポートする新しいMILP符号化を提供する。 我々は、メモリベースの決定を包含するために、POMDPの事前処理を採用する。 提案手法の利点は, 計算的トラクタビリティを損なうことなく, 簡単な決定論的政策を強化する柔軟性と, 任意に多くの仕様の証明可能な満足度を強制する能力である。
  論文  参考訳（メタデータ） (2020-07-16T14:22:55Z)
• Provably Efficient Model-Free Algorithm for MDPs with Peak Constraints [38.2783003051101]
  本稿では,有限地平線における全報酬の最大化と,各エポックにおける制約を確率1で満たすため,エージェントがポリシーを選択する,制約付きマルコフ決定プロセス(PCMDP)について考察する。 そこで本研究では,PCMDP問題を制約のない問題に変換するモデルフリーアルゴリズムを提案し,Q-ラーニングに基づくアプローチを適用した。
  論文  参考訳（メタデータ） (2020-03-11T23:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。