論文の概要: HypRL: Reinforcement Learning of Control Policies for Hyperproperties

• arxiv url: http://arxiv.org/abs/2504.04675v3
• Date: Fri, 13 Jun 2025 16:47:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 13:34:01.513328
• Title: HypRL: Reinforcement Learning of Control Policies for Hyperproperties
• Title（参考訳）: HypRL:ハイパープロパタイトのための制御ポリシーの強化学習
• Authors: Tzu-Han Hsu, Arshia Rafieioskouei, Borzoo Bonakdarpour,
• Abstract要約: 仕様誘導型強化学習フレームワークHYPRLを提案する。 我々はSkolemizationを適用して量化器の変質を管理し、報酬を形作る定量的関数を定義する。 次に、適切なRLアルゴリズムを用いて、期待される報酬を最大化するポリシーを学ぶ。
• 参考スコア（独自算出の注目度）: 0.3277163122167433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward shaping in multi-agent reinforcement learning (MARL) for complex tasks remains a significant challenge. Existing approaches often fail to find optimal solutions or cannot efficiently handle such tasks. We propose HYPRL, a specification-guided reinforcement learning framework that learns control policies w.r.t. hyperproperties expressed in HyperLTL. Hyperproperties constitute a powerful formalism for specifying objectives and constraints over sets of execution traces across agents. To learn policies that maximize the satisfaction of a HyperLTL formula $\phi$, we apply Skolemization to manage quantifier alternations and define quantitative robustness functions to shape rewards over execution traces of a Markov decision process with unknown transitions. A suitable RL algorithm is then used to learn policies that collectively maximize the expected reward and, consequently, increase the probability of satisfying $\phi$. We evaluate HYPRL on a diverse set of benchmarks, including safety-aware planning, Deep Sea Treasure, and the Post Correspondence Problem. We also compare with specification-driven baselines to demonstrate the effectiveness and efficiency of HYPRL.
• Abstract（参考訳）: 複雑なタスクに対するマルチエージェント強化学習(MARL)におけるリワードシェーピングは依然として重要な課題である。 既存のアプローチは最適解を見つけられなかったり、そのようなタスクを効率的に処理できなかったりすることが多い。 提案するHYPRLは,HyperLTLで表現されたハイパープロパティの制御ポリシを学習する仕様誘導型強化学習フレームワークである。 ハイパープロパティは、エージェント間の実行トレースのセットに対する目的と制約を指定するための強力なフォーマリズムを構成する。 超LTL式$\phi$の満足度を最大化するポリシーを学習するために、Skolemizationを適用して量化器の変質を管理し、定量ロバスト性関数を定義し、マルコフ決定過程の実行トレースに対する報酬を未知の遷移で形成する。 適切なRLアルゴリズムは、期待される報酬をまとめて最大化し、その結果、$\phi$を満たす確率を高めるポリシーを学ぶために使用される。 我々は,HyPRLを,安全に配慮した計画,深海宝,ポスト対応問題など,多様なベンチマークで評価する。 また、仕様駆動ベースラインと比較し、HYPRLの有効性と効率を実証する。

関連論文リスト

• Why Ask One When You Can Ask $k$? Two-Stage Learning-to-Defer to the Top-$k$ Experts [3.6787328174619254]
  L2D(Learning-to-Defer)は、不確実な予測をより有能なエージェントに選択的に延期することで、意思決定システムによる信頼性の向上を可能にする。 本稿では,従来の2段階L2Dフレームワークを一般化したTop-k$ Learning-to-Deferを提案する。 柔軟性とコスト効率をさらに向上するため,各クエリに対して最適なエージェント数を求める適応型拡張であるTop-$k(x)$ Learning-to-Deferを導入する。
  論文  参考訳（メタデータ） (2025-04-17T14:50:40Z)
• A View of the Certainty-Equivalence Method for PAC RL as an Application of the Trajectory Tree Method [5.238591085233903]
  本稿では,CEMが実際にTTMの応用と見なされるという驚くべき発見に起因した理論的研究を提案する。 我々は,非定常MPPと定常MPPの双方に対して,CEMの試料複雑度上限を(3)改良した。 また, 有限ホライズン MDP に対する標本複雑性の低い値を示し, 非定常 MDP に対する上界の最小値最適性を確立する。
  論文  参考訳（メタデータ） (2025-01-05T20:37:34Z)
• Mean-Field Sampling for Cooperative Multi-Agent Reinforcement Learning [4.899818550820576]
  マルチエージェント強化学習のための新しいアルゴリズムを提案する。 この学習されたポリシーは、サブサンプルエージェントの数が増加するにつれて、$tildeO (1/sqrtk)$の順序で最適ポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2024-12-01T03:45:17Z)
• Stochastic Q-learning for Large Discrete Action Spaces [79.1700188160944]
  離散的な行動空間を持つ複雑な環境では、強化学習(RL)において効果的な意思決定が重要である 我々は、$n$アクションの集合全体を最適化するのとは対照的に、おそらく$mathcalO(log(n)$)$のような変数の集合のみを考える。 提示された値ベースのRL手法には、Q-learning、StochDQN、StochDDQNなどが含まれる。
  論文  参考訳（メタデータ） (2024-05-16T17:58:44Z)
• When is Agnostic Reinforcement Learning Statistically Tractable? [76.1408672715773]
  エンフスパンニング容量と呼ばれる新しい複雑性測度は、設定された$Pi$にのみ依存し、MDPダイナミクスとは独立である。 我々は、学習するためにスーパーポリノミカルな数のサンプルを必要とする制限付きスパンリング能力を持つポリシークラス$Pi$が存在することを示した。 これにより、生成的アクセスとオンラインアクセスモデルの間の学習可能性の驚くほどの分離が明らかになる。
  論文  参考訳（メタデータ） (2023-10-09T19:40:54Z)
• Achieving Fairness in Multi-Agent Markov Decision Processes Using Reinforcement Learning [30.605881670761853]
  有限水平エピソードMDPにおける公平性を実現するための強化学習手法を提案する。 このようなアプローチは、エピソード数の観点から、サブ線形後悔を実現することを示す。
  論文  参考訳（メタデータ） (2023-06-01T03:43:53Z)
• Efficient Policy Iteration for Robust Markov Decision Processes via Regularization [49.05403412954533]
  ロバストな意思決定プロセス(MDP)は、システムのダイナミクスが変化している、あるいは部分的にしか知られていない決定問題をモデル化するためのフレームワークを提供する。 最近の研究は、長方形長方形の$L_p$頑健なMDPと正規化されたMDPの等価性を確立し、標準MDPと同じレベルの効率を享受する規則化されたポリシー反復スキームを導出した。 本研究では、政策改善のステップに焦点をあて、欲求政策と最適なロバストなベルマン作用素のための具体的な形式を導出する。
  論文  参考訳（メタデータ） (2022-05-28T04:05:20Z)
• MDPGT: Momentum-based Decentralized Policy Gradient Tracking [29.22173174168708]
  マルチエージェント強化学習のための運動量に基づく分散型ポリシー勾配追跡(MDPGT)を提案する。 MDPGTは、グローバル平均の$N$ローカルパフォーマンス関数の$epsilon-stationaryポイントに収束するために$mathcalO(N-1epsilon-3)$の最良のサンプル複雑性を実現する。 これは、分散モデルレス強化学習における最先端のサンプル複雑さよりも優れています。
  論文  参考訳（メタデータ） (2021-12-06T06:55:51Z)
• Reinforcement Learning in Reward-Mixing MDPs [74.41782017817808]
  報酬混合マルコフ決定過程(MDP)におけるエピソード強化学習 cdot S2 A2)$ episodes, where$H$ is time-horizon and $S, A$ are the number of state and actions。 epsilon$-optimal policy after $tildeO(poly(H,epsilon-1) cdot S2 A2)$ episodes, $H$ is time-horizon and $S, A$ are the number of state and actions。
  論文  参考訳（メタデータ） (2021-10-07T18:55:49Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Reward is enough for convex MDPs [30.478950691312715]
  静止分布の凸関数として目標が表現される凸MDPについて検討する。 本稿では,この問題を解決するメタアルゴリズムを提案し,文献における既存のアルゴリズムを統一することを示す。
  論文  参考訳（メタデータ） (2021-06-01T17:46:25Z)
• RL for Latent MDPs: Regret Guarantees and a Lower Bound [74.41782017817808]
  後期マルコフ決定過程(LMDP)における強化学習における後悔問題の検討 LMDPにおいて、M$可能なMDPのセットからMDPをランダムに描画するが、選択したMDPの同一性はエージェントに明らかにしない。 鍵となるリンクは、MDPシステムの力学の分離の概念であることを示す。
  論文  参考訳（メタデータ） (2021-02-09T16:49:58Z)
• Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
  制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。 本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。