論文の概要: Confessions of a Masked MDP

• arxiv url: http://arxiv.org/abs/2610.28360v1
• Date: Tue, 20 Oct 2026 15:22:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.884442
• Title: Confessions of a Masked MDP
• Title（参考訳）: 仮面型MDPの対立
• Abstract要約: 強化学習では、前もって認識された行動が想定される。 一部の応用では、この作用マスクを決定することが主な計算ボトルネックである。 本研究では,マスク自体の学習と最適ポリシーの探索方法について検討する。
• 参考スコア（独自算出の注目度）: 1.0195618602298682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In reinforcement learning, one presumes the action set to be known ahead of time, and, thus, one must know if any state-action pairs are not permissible ahead of computations. In some applications, determining this action mask is the main computational bottleneck. Isolating this problem to highlight its core properties, we study how to combine the search for an optimal policy with the learning of the mask itself, under a linear MDP model in which each attempted action reveals the exact value of a linear score determining its validity. In this framework, we first construct an algorithm based on deterministic optimistic optimization and show that it is minimax optimal, which we show is also computationally efficient. However, it is sub-optimal on non-degenerate instances, as we show. We propose an alternative, which is also computationally efficient, which plans its exploration strategy. This algorithm admits a formal interpretation as an analogue of information-directed-sampling for deterministic feedback, which may be of independent interest. Finally, we study an application of this framework to transfer learning, where the invalid action set changes over time.
• Abstract（参考訳）: 強化学習では、アクションセットが事前に知られていると仮定し、そのため、状態-作用対が計算の前に許容されないかどうかを知る必要がある。 一部の応用では、この作用マスクを決定することが主な計算ボトルネックである。 そこで本研究では, 最適ポリシーの探索とマスク自体の学習を組み合わせ, その妥当性を決定する線形スコアの正確な値を明らかにする線形MDPモデルを用いて, この問題を解明する。 本稿では,まず決定論的楽観的最適化に基づくアルゴリズムを構築し,このアルゴリズムが最適であることを示す。 しかし、ここで示すように、非退化インスタンスに対して準最適である。 本稿では,その探索戦略を計画する,計算効率のよい代替案を提案する。 このアルゴリズムは、決定論的フィードバックのための情報指向サンプリングの類似体として形式的な解釈を認めており、これは独立した関心を持つ可能性がある。 最後に、このフレームワークの学習伝達への応用について検討し、そこでは、無効なアクションセットが時間とともに変化する。

関連論文リスト

• Breaking the Computational Barrier: Provably Efficient Actor-Critic for Low-Rank MDPs [53.412166189410904]
  低ランクマルコフ決定過程(MDPs)の下で広く採用されているRLオーラクルの階層を確立するために,教師付き学習を計算プロキシとして利用する。 本研究の目的は,政策評価にのみ依存する新しい楽観的アクター批判アルゴリズムを提案することである。 提案アルゴリズムは,従来の計算コストの高い計画や最適化オーラクルを回避しつつ,既存のサンプル複雑度保証よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-02T04:46:54Z)
• Direct Preference Optimization with Rating Information: Practical Algorithms and Provable Gains [67.71020482405343]
  評価ギャップの形で追加情報を活用するアルゴリズムを設計する方法について検討する。 精度の高いレーティングギャップ情報が存在する場合,DPOよりも高速な統計的レートを実現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-31T08:38:21Z)
• Computationally Efficient RL under Linear Bellman Completeness for Deterministic Dynamics [39.07258580928359]
  線形ベルマン完全設定に対する計算的および統計的に効率的な強化学習アルゴリズムについて検討する。 この設定では線形関数近似を用いて値関数をキャプチャし、線形マルコフ決定プロセス(MDP)や線形二次レギュレータ(LQR)のような既存のモデルを統一する。 我々の研究は、線形ベルマン完全設定のための計算効率の良いアルゴリズムを提供し、大きなアクション空間、ランダムな初期状態、ランダムな報酬を持つMDPに対して機能するが、決定論的となる基礎となる力学に依存している。
  論文  参考訳（メタデータ） (2024-06-17T17:52:38Z)
• Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP [81.00800920928621]
  部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究 まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。 次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:04:03Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• Offline Policy Optimization with Eligible Actions [34.4530766779594]
  オフラインポリシーの最適化は多くの現実世界の意思決定問題に大きな影響を与える可能性がある。 重要度サンプリングとその変種は、オフラインポリシー評価において一般的に使用されるタイプの推定器である。 そこで本稿では, 州ごとの正規化制約によって過度に適合することを避けるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-01T19:18:15Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。