論文の概要: Reinforcement Learning for Reachability: Guaranteeing Asymptotic Optimality

• arxiv url: http://arxiv.org/abs/2605.24740v1
• Date: Sat, 23 May 2026 21:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.356632
• Title: Reinforcement Learning for Reachability: Guaranteeing Asymptotic Optimality
• Title（参考訳）: 到達可能性のための強化学習:漸近的最適性の確保
• Authors: Amogh Palasamudram, Jakub Svoboda, Suguman Bansal, Krishnendu Chatterjee,
• Abstract要約: 我々は収束力学に関するより深い理論的洞察を提供する別のアプローチを提案する。 提案手法は仮定によるPAC学習に基づいている。 この限界において、正確な最適性が達成できることが示される。
• 参考スコア（独自算出の注目度）: 13.478000885150024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) for reachability specifications is fundamental in sequential decision-making, yet theoretical guarantees remain less explored. A recent work achieves asymptotic convergence to optimal policies. However, this approach provides limited insight into convergence dynamics. In this work, we present an alternative approach that provides deeper theoretical insights into convergence. Our approach builds on PAC learning with assumptions. PAC learning guarantees near-optimal policies with high confidence in finite time but requires knowing internal MDP parameters like minimum transition probability. We argue that while these parameters are unknown in RL, they can be iteratively refined and estimated with increasing accuracy. By iteratively satisfying PAC conditions, we show that exact optimality can be achieved in the limit. Empirical evaluations on standard benchmarks validate our theoretical insights into convergence dynamics.
• Abstract（参考訳）: 到達可能性仕様のための強化学習(RL)は、シーケンシャルな意思決定において基本的なものであるが、理論的保証は検討されていない。 最近の研究は、最適な政策への漸近的な収束を達成する。 しかし、このアプローチは収束力学に関する限られた洞察を与える。 本研究では,収束に関するより深い理論的洞察を提供する代替手法を提案する。 提案手法は仮定によるPAC学習に基づいている。 PAC学習は、有限時間における信頼度の高い準最適ポリシーを保証するが、最小遷移確率のような内部のMDPパラメータを知る必要がある。 これらのパラメータはRLでは未知であるが、反復的に洗練され、精度が高く見積もられる。 PAC条件を反復的に満たすことで,その限界において正確な最適性が達成可能であることを示す。 標準ベンチマークに関する実証的な評価は、収束力学の理論的な洞察を検証している。

関連論文リスト

• On the Limits of Test-Time Compute: Sequential Reward Filtering for Better Inference [71.09125259964684]
  テスト時計算(TTC)は、大規模言語モデル(LLM)の拡張のパラダイムとして、ますます顕著になっている。 本稿では,高次世代のみを文脈に選択的に組み込む単純な手順である報酬フィルタシーケンシャル推論について検討する。 理論的には、報酬フィルタによる逐次推論は標準TTCパラダイムよりも厳密な保証が得られることを示す。
  論文  参考訳（メタデータ） (2025-12-04T08:21:33Z)
• Sound Heuristic Search Value Iteration for Undiscounted POMDPs with Reachability Objectives [16.101435842520473]
  本稿では,POMDPにおける最大到達可能性確率問題(indefinite-horizon)と呼ばれる問題について検討する。 割引問題に対するポイントベース手法の成功に触発され,MRPPへの拡張について検討した。 本稿では,これらの手法の強みを有効活用し,信念空間を効率的に探索するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-05T02:33:50Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
  バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。 最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。 より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-16T09:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。