論文の概要: Model-based Dynamic Shielding for Safe and Efficient Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2304.06281v1
• Date: Thu, 13 Apr 2023 06:08:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 15:30:28.456172
• Title: Model-based Dynamic Shielding for Safe and Efficient Multi-Agent Reinforcement Learning
• Title（参考訳）: 安全かつ効率的なマルチエージェント強化学習のためのモデルベース動的シールド
• Authors: Wenli Xiao, Yiwei Lyu, John Dolan
• Abstract要約: MARL(Multi-Agent Reinforcement Learning)は、報酬を最大化するが、学習と展開フェーズにおいて安全保証を持たないポリシーを発見する。 MARLアルゴリズム設計をサポートするモデルベース動的シールド(MBDS)。
• 参考スコア（独自算出の注目度）: 7.103977648997475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-Agent Reinforcement Learning (MARL) discovers policies that maximize reward but do not have safety guarantees during the learning and deployment phases. Although shielding with Linear Temporal Logic (LTL) is a promising formal method to ensure safety in single-agent Reinforcement Learning (RL), it results in conservative behaviors when scaling to multi-agent scenarios. Additionally, it poses computational challenges for synthesizing shields in complex multi-agent environments. This work introduces Model-based Dynamic Shielding (MBDS) to support MARL algorithm design. Our algorithm synthesizes distributive shields, which are reactive systems running in parallel with each MARL agent, to monitor and rectify unsafe behaviors. The shields can dynamically split, merge, and recompute based on agents' states. This design enables efficient synthesis of shields to monitor agents in complex environments without coordination overheads. We also propose an algorithm to synthesize shields without prior knowledge of the dynamics model. The proposed algorithm obtains an approximate world model by interacting with the environment during the early stage of exploration, making our MBDS enjoy formal safety guarantees with high probability. We demonstrate in simulations that our framework can surpass existing baselines in terms of safety guarantees and learning performance.
• Abstract（参考訳）: MARL(Multi-Agent Reinforcement Learning)は、報酬を最大化するが、学習と展開フェーズにおいて安全保証を持たないポリシーを発見する。 線形時間論理(LTL)による遮蔽は、単一エージェント強化学習(RL)における安全性を確保するための有望な形式的手法であるが、マルチエージェントシナリオへのスケーリングにおいて保守的な振る舞いをもたらす。 さらに、複雑なマルチエージェント環境におけるシールドの合成に計算上の課題が生じる。 本研究はMARLアルゴリズム設計をサポートするモデルベース動的シールド(MBDS)を導入する。 本アルゴリズムは,各MARLエージェントと並列に動作する反応系である分散シールドを合成し,安全でない動作を監視し,修正する。 シールドはエージェントの状態に基づいて動的に分割、マージ、再計算できる。 この設計により、複雑な環境でエージェントを監視するためのシールドの効率的な合成が可能となる。 また,動的モデルの事前知識なくシールドを合成するアルゴリズムを提案する。 提案アルゴリズムは,探索の初期段階に環境と相互作用して近似的な世界モデルを求め,MBDSが正式な安全保証を高い確率で享受できるようにする。 我々は,安全保証と学習性能の観点から,既存のベースラインを超えることができることをシミュレーションで実証する。

関連論文リスト

• Think Smart, Act SMARL! Analyzing Probabilistic Logic Driven Safety in Multi-Agent Reinforcement Learning [3.0846824529023382]
  本稿では、シールド付き独立Q-ラーニングを実現するために、シールド付きMARL(SMARL)を提案する。 また、保護された独立したQ-ラーニングを可能にする確率論理時間差学習(PLTD)も導入している。 $ii$はその正の効果を示し、様々なゲーム理論環境で平衡選択機構として使われる。
  論文  参考訳（メタデータ） (2024-11-07T16:59:32Z)
• Progressive Safeguards for Safe and Model-Agnostic Reinforcement Learning [5.593642806259113]
  我々は、各タスクが安全を監視し、エージェントに報酬信号を提供するセーフガードと同期するメタラーニングプロセスをモデル化する。 セーフガードの設計は手動だが、高レベルでモデルに依存しないため、エンドツーエンドの安全な学習アプローチがもたらされる。 我々は、MinecraftにインスパイアされたGridworld、VizDoomゲーム環境、LLMファインチューニングアプリケーションでフレームワークを評価した。
  論文  参考訳（メタデータ） (2024-10-31T16:28:33Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Shield Synthesis for LTL Modulo Theories [2.034732821736745]
  我々は、複雑な安全仕様に従ってシールドを生成するための新しいアプローチを開発する。 我々の知る限りでは、このような表現力のためにシールドを合成するための最初のアプローチである。
  論文  参考訳（メタデータ） (2024-06-06T15:40:29Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Approximate Model-Based Shielding for Safe Reinforcement Learning [83.55437924143615]
  本稿では,学習したRLポリシーの性能を検証するための,原則的ルックアヘッド遮蔽アルゴリズムを提案する。 我々のアルゴリズムは他の遮蔽手法と異なり、システムの安全性関連力学の事前知識を必要としない。 我々は,国家依存型安全ラベルを持つアタリゲームにおいて,他の安全を意識したアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-07-27T15:19:45Z)
• Approximate Shielding of Atari Agents for Safe Exploration [83.55437924143615]
  遮蔽の概念に基づく安全な探索のための原理的アルゴリズムを提案する。 本稿では,我々の近似遮蔽アルゴリズムが安全違反率を効果的に低減することを示す予備的な結果を示す。
  論文  参考訳（メタデータ） (2023-04-21T16:19:54Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Automata Learning meets Shielding [1.1417805445492082]
  安全は、強化学習(RL)における主要な研究課題の1つである。 本稿では,確率的,部分的に未知な環境下での探査において,RLエージェントの安全違反を回避する方法について述べる。 提案手法は,マルコフ決定過程(MDP)の自動学習とシールド合成を反復的手法で組み合わせたものである。
  論文  参考訳（メタデータ） (2022-12-04T14:58:12Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Safe-Critical Modular Deep Reinforcement Learning with Temporal Logic through Gaussian Processes and Control Barrier Functions [3.5897534810405403]
  強化学習(Reinforcement Learning, RL)は,現実のアプリケーションに対して限られた成功を収める,有望なアプローチである。 本稿では,複数の側面からなる学習型制御フレームワークを提案する。 ECBFをベースとしたモジュラーディープRLアルゴリズムは,ほぼ完全な成功率を達成し,高い確率で安全性を保護することを示す。
  論文  参考訳（メタデータ） (2021-09-07T00:51:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。