論文の概要: Safe Meta-Reinforcement Learning via Information Space Reachability

• arxiv url: http://arxiv.org/abs/2609.15915v1
• Date: Mon, 14 Sep 2026 17:27:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.533543
• Title: Safe Meta-Reinforcement Learning via Information Space Reachability
• Title（参考訳）: 情報空間の到達可能性を利用した安全メタ強化学習
• Abstract要約: 本稿では,適応中の安全性を明示的に考慮した安全なメタRLフレームワークを提案する。 この関数は自己整合条件とベルマン方程式を満たすことを示し、メタRLを用いて学習できるようにする。
• 参考スコア（独自算出の注目度）: 4.249024052507976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-reinforcement learning (meta-RL) enables agents to adapt to unseen tasks with limited experience. Despite its promise, the application of meta-RL in real-world tasks is hindered by safety requirements, which have been underexplored in prior work. In this paper, we propose a safe meta-RL framework that explicitly accounts for safety during adaptation. Our key insight is to reason about safety in the information space, which captures both the physical state and the agent's belief over the underlying task. Within this space, we introduce a safety value function that measures the probability of the agent avoiding unsafe regions indefinitely. We show that this function satisfies a self-consistency condition and a Bellman equation, which make it learnable via meta-RL. Based on this formulation, we develop a safe meta-RL algorithm that learns the safety value function and leverages it for safety filtering and constrained policy optimization. Experiments on meta-RL benchmarks demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: メタ強化学習(Meta-RL)は、エージェントが経験の少ない未確認タスクに適応できるようにする。 その約束にもかかわらず、現実世界のタスクにおけるメタRLの適用は、以前の研究で過小評価されていた安全要件によって妨げられている。 本稿では,適応時の安全性を明示的に考慮した安全なメタRLフレームワークを提案する。 我々の重要な洞察は、情報空間の安全性について推論することであり、それは、基礎となるタスクに対する物理的状態とエージェントの信念の両方を捉えます。 この空間内では、安全でない領域を無期限に回避するエージェントの確率を測定する安全値関数を導入する。 この関数は自己整合条件とベルマン方程式を満たすことを示し、メタRLを用いて学習できるようにする。 この定式化に基づき、安全値関数を学習し、安全フィルタリングや制約付きポリシー最適化に活用する安全なメタRLアルゴリズムを開発した。 メタRLベンチマーク実験により,提案手法の有効性が示された。

関連論文リスト

• A Provable Approach for End-to-End Safe Reinforcement Learning [17.17447653795906]
  安全強化学習(RL)の長年の目標は、プロセス全体を通してポリシーの安全性を確保することである。 本稿では、オフライン安全なRLと安全なポリシー展開を統合するPLS(Provably Lifetime Safe RL)手法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T00:48:20Z)
• Probabilistic Shielding for Safe Reinforcement Learning [51.35559820893218]
  現実のシナリオでは、強化学習(RL)エージェントはトレーニング時間を含む安全な振る舞いをしなければならない。 我々は,Safe RLの厳密な保証を享受する,スケーラブルな新しい手法を提案する。 当社のアプローチは、トレーニングやテスト時にエージェントが安全であることを保証する厳格な公式な安全保証を提供する。
  論文  参考訳（メタデータ） (2025-03-09T17:54:33Z)
• ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning [48.536695794883826]
  本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。 本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。 さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:46:02Z)
• Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning [57.84059344739159]
  シールドディング」は、強化学習(RL)の安全性を強制する一般的な手法である 安全と遮蔽構造に対処する新しい許容性に基づく枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T18:00:21Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• Provable Safe Reinforcement Learning with Binary Feedback [62.257383728544006]
  状態, アクションペアの安全性に対するバイナリフィードバックを提供するオフラインオラクルへのアクセスを与えられた場合, 証明可能な安全なRLの問題を考える。 我々は,その設定に対してブラックボックスPAC RLアルゴリズムに与えられた任意のMDP設定に適用可能な,新しいメタアルゴリズムSABREを提案する。
  論文  参考訳（メタデータ） (2022-10-26T05:37:51Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)
• Provably Safe Reinforcement Learning: Conceptual Analysis, Survey, and Benchmarking [12.719948223824483]
  強化学習(RL)アルゴリズムは、多くの現実世界のタスクにおいて、その潜在能力を解き放つために不可欠である。 しかしながら、バニラRLと最も安全なRLアプローチは安全性を保証するものではない。 本稿では,既存の安全なRL手法の分類を導入し,連続的および離散的な動作空間の概念的基礎を提示し,既存の手法を実証的にベンチマークする。 本稿では、安全仕様、RLアルゴリズム、アクション空間の種類に応じて、確実に安全なRLアプローチを選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2022-05-13T16:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。