Fugu-MT 論文翻訳(概要): Hyperproperty-Constrained Secure Reinforcement Learning

論文の概要: Hyperproperty-Constrained Secure Reinforcement Learning

arxiv url: http://arxiv.org/abs/2508.00106v1
Date: Thu, 31 Jul 2025 18:57:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-04 18:08:53.635933
Title: Hyperproperty-Constrained Secure Reinforcement Learning
Title（参考訳）: 超完全制約型セキュア強化学習
Authors: Ernest Bonnah, Luan Viet Nguyen, Khaza Anuarul Hoque,
Abstract要約: 本稿では,HyperTWTL制約付きセキュア強化学習(SecRL)に焦点を当てる。本稿では,動的ボルツマンソフトマックスRLを用いたセキュリティ対応最適ポリシーの学習手法を提案する。
参考スコア（独自算出の注目度）: 0.16385815610837165
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Hyperproperties for Time Window Temporal Logic (HyperTWTL) is a domain-specific formal specification language known for its effectiveness in compactly representing security, opacity, and concurrency properties for robotics applications. This paper focuses on HyperTWTL-constrained secure reinforcement learning (SecRL). Although temporal logic-constrained safe reinforcement learning (SRL) is an evolving research problem with several existing literature, there is a significant research gap in exploring security-aware reinforcement learning (RL) using hyperproperties. Given the dynamics of an agent as a Markov Decision Process (MDP) and opacity/security constraints formalized as HyperTWTL, we propose an approach for learning security-aware optimal policies using dynamic Boltzmann softmax RL while satisfying the HyperTWTL constraints. The effectiveness and scalability of our proposed approach are demonstrated using a pick-up and delivery robotic mission case study. We also compare our results with two other baseline RL algorithms, showing that our proposed method outperforms them.
Abstract（参考訳）: HyperTWTL(Hyperproperties for Time Window Temporal Logic)は、ロボティクスアプリケーションにおけるセキュリティ、不透明性、並行性をコンパクトに表現することで知られるドメイン固有の形式仕様言語である。本稿では,HyperTWTL制約付きセキュア強化学習(SecRL)に焦点を当てた。時相論理制約型安全強化学習(SRL)は,いくつかの文献において進化する研究課題であるが,超越性を用いたセキュリティ対応強化学習(RL)の探索には大きなギャップがある。マルコフ決定過程(MDP)としてのエージェントのダイナミクスとHyperTWTLとして定式化された不透明/セキュリティ制約を考慮に入れ,ハイパーTWTLの制約を満たしつつ,動的ボルツマンソフトマックスRLを用いてセキュリティに配慮した最適ポリシーを学習するためのアプローチを提案する。提案手法の有効性とスケーラビリティを,ピックアップ・デリバリーロボットミッションケーススタディを用いて実証した。また,この結果と他の2つのベースラインRLアルゴリズムを比較し,提案手法により性能が向上したことを示す。

関連論文リスト

Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文参考訳（メタデータ） (2025-07-26T07:53:11Z)
HypRL: Reinforcement Learning of Control Policies for Hyperproperties [0.3277163122167433]
仕様誘導型強化学習フレームワークHYPRLを提案する。我々はSkolemizationを適用して量化器の変質を管理し、報酬を形作る定量的関数を定義する。次に、適切なRLアルゴリズムを用いて、期待される報酬を最大化するポリシーを学ぶ。
論文参考訳（メタデータ） (2025-04-07T01:58:36Z)
SoNIC: Safe Social Navigation with Adaptive Conformal Inference and Constrained Reinforcement Learning [26.554847852013737]
SoNICは適応型共形推論と制約付き強化学習を統合する最初のアルゴリズムである。本手法は,従来の最先端RL法よりも11.67%高い96.93%の成功率を達成する。実験により,疎密な群集と密集した群集の両方と相互作用して,堅牢で社会的に礼儀正しく意思決定できることを示した。
論文参考訳（メタデータ） (2024-07-24T17:57:21Z)
Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文参考訳（メタデータ） (2023-10-18T06:07:10Z)
Constrained Decision Transformer for Offline Safe Reinforcement Learning [16.485325576173427]
我々は、新しい多目的最適化の観点から、オフラインセーフなRL問題を考察する。本稿では,デプロイメント中のトレードオフを動的に調整可能な制約付き決定変換器(CDT)アプローチを提案する。
論文参考訳（メタデータ） (2023-02-14T21:27:10Z)
Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文参考訳（メタデータ） (2022-12-12T06:30:17Z)
Safe reinforcement learning for multi-energy management systems with known constraint functions [0.0]
強化学習(Reinforcement Learning, RL)は, 多エネルギー管理システムにおける最適制御手法である。我々はSafeFallbackとGiveSafeという2つの新しい安全なRL手法を提案する。シミュレーションされたマルチエネルギーシステムのケーススタディでは、どちらの手法も非常に高い実用性から始めることを示した。
論文参考訳（メタデータ） (2022-07-08T11:33:53Z)
Constrained Reinforcement Learning for Robotics via Scenario-Based Programming [64.07167316957533]
DRLをベースとしたエージェントの性能を最適化し,その動作を保証することが重要である。本稿では,ドメイン知識を制約付きDRLトレーニングループに組み込む新しい手法を提案する。我々の実験は、専門家の知識を活用するために我々のアプローチを用いることで、エージェントの安全性と性能が劇的に向上することを示した。
論文参考訳（メタデータ） (2022-06-20T07:19:38Z)
Safe-Critical Modular Deep Reinforcement Learning with Temporal Logic through Gaussian Processes and Control Barrier Functions [3.5897534810405403]
強化学習(Reinforcement Learning, RL)は,現実のアプリケーションに対して限られた成功を収める,有望なアプローチである。本稿では,複数の側面からなる学習型制御フレームワークを提案する。 ECBFをベースとしたモジュラーディープRLアルゴリズムは,ほぼ完全な成功率を達成し,高い確率で安全性を保護することを示す。
論文参考訳（メタデータ） (2021-09-07T00:51:12Z)
Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
論文参考訳（メタデータ） (2020-02-22T10:15:53Z)
Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
論文参考訳（メタデータ） (2019-02-02T20:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。