論文の概要: Evaluation Metrics for Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.15315v1
• Date: Mon, 14 Sep 2026 10:04:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.259176
• Title: Evaluation Metrics for Safe Reinforcement Learning
• Title（参考訳）: 安全強化学習のための評価指標
• Abstract要約: この慣習は、アルゴリズムの真の安全性を確実に特徴づけるには不十分である、と我々は主張する。 それぞれの懸念に対処する安全なRLの評価指標を (i) 導入する。 次に、安全性と信頼性の観点からアルゴリズムを体系的に分類し比較する安全層システムを定義する。
• 参考スコア（独自算出の注目度）: 0.3166549403591528
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Safe reinforcement learning (RL) is commonly formalized as a Constrained Markov Decision Process (CMDP), in which an agent maximizes expected reward while keeping its expected cumulative cost below a specified safety bound. Existing safe RL benchmarks predominantly report whether an algorithm is safe on average, following this expectation-based guarantee. We argue that this convention is insufficient to reliably characterize an algorithm's true safety: it fails to capture how often and how severely the safety bound is violated, whether this holds consistently across tasks and safety bounds, and whether training-time behavior is representative of behavior of the final converged policy. Therefore, we introduce (i) evaluation metrics for safe RL that address each of these concerns and in addition allow for aggregation across tasks and safety bounds. We furthermore define (ii) a safety tier system to systematically categorize and compare algorithms in terms of safety and reliability at both training and for a final policy. Using this framework, we provide (iii) an empirical safety evaluation across multiple safety navigation tasks. Our results show that aggregate metrics, distributional reporting, and task- and safety bound-specific results each reveal information the other metrics cannot. We therefore recommend reporting all three jointly, rather than compressing this information into a single value, as is common practice. We provide SafeRLEval, an open-source evaluation suite to support the reliable characterization of safety in future safe RL research.
• Abstract（参考訳）: 安全強化学習(RL)は、通常、制限されたマルコフ決定プロセス(CMDP)として形式化され、エージェントは期待される累積コストを所定の安全限界以下に保ちながら、期待される報酬を最大化する。 既存の安全なRLベンチマークは、この期待に基づく保証に従って、アルゴリズムが平均的に安全かどうかを主に報告する。 この規約は、アルゴリズムの真の安全性を確実に特徴づけるには不十分である、と我々は主張する: どの程度の頻度と過酷な安全境界が違反されたか、それがタスクや安全境界を越えて一貫して維持されているか、そしてトレーニング時の行動が最終的な統合されたポリシーの行動を表すか、をキャプチャーできない。 そこで紹介する。 (i)これらの懸念に対処する安全RLの評価指標に加えて、タスクと安全境界をまたいだアグリゲーションを可能にする。 さらに定義する 二 トレーニング及び最終方針の双方において、安全性及び信頼性の観点からアルゴリズムを体系的に分類し比較する安全層システム。 このフレームワークを使うことで 三 複数の安全ナビゲーション業務における経験的安全評価 結果から, 集約されたメトリクス, 分散レポート, タスク・アンド・セーフ・バウンダリ特有の結果から, 他のメトリクスができない情報を明らかにすることができた。 したがって、通常のように、この情報を単一の値に圧縮するのではなく、3つ全てを共同で報告することを推奨する。 我々は,将来の安全RL研究における安全性の信頼性評価を支援するオープンソース評価スイートであるSafeRLEvalを提供する。

関連論文リスト

• DeepKnown-Guard: A Proprietary Model-Based Safety Response Framework for AI Agents [12.054307827384415]
  大きな言語モデル(LLM)はますます顕著になり、重要なドメインへの信頼性の高いデプロイメントを厳しく制限しています。 本稿では,LLMを入力レベルと出力レベルの両方で保護する新しい安全応答フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-05T03:04:35Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• TraCeS: Trajectory Based Credit Assignment From Sparse Safety Feedback [15.904640266226023]
  安全強化学習(RL)では、エージェントを安全な意思決定に合わせるために補助的な安全コストが使用される。 実際には、コスト関数や予算を含む安全性の制約は、不明または特定が難しい。 我々は、真の安全定義が不明な一般的な設定に対処し、少ないラベル付きデータから学ぶ必要がある。
  論文  参考訳（メタデータ） (2025-04-17T01:11:08Z)
• Safe Vision-Language Models via Unsafe Weights Manipulation [75.04426753720551]
  我々は、異なるレベルの粒度で安全性を評価する新しい指標セットであるSafe-Groundを導入し、安全性の評価を見直した。 我々は異なる方向を採り、トレーニングなしでモデルをより安全にできるかどうかを探り、Unsafe Weights Manipulation (UWM)を導入します。 UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。
  論文  参考訳（メタデータ） (2025-03-14T17:00:22Z)
• Probabilistic Shielding for Safe Reinforcement Learning [51.35559820893218]
  現実のシナリオでは、強化学習(RL)エージェントはトレーニング時間を含む安全な振る舞いをしなければならない。 我々は,Safe RLの厳密な保証を享受する,スケーラブルな新しい手法を提案する。 当社のアプローチは、トレーニングやテスト時にエージェントが安全であることを保証する厳格な公式な安全保証を提供する。
  論文  参考訳（メタデータ） (2025-03-09T17:54:33Z)
• Feasibility Consistent Representation Learning for Safe Reinforcement Learning [25.258227763316228]
  FCSRL(Fasibility Consistent Safe Reinforcement Learning)という新しいフレームワークを導入する。 本フレームワークは、表現学習と実現可能性指向の目的を組み合わせることで、安全RLのために生の状態から安全関連情報を識別し、抽出する。 本手法は,従来の表現学習ベースラインよりも安全性に配慮した埋め込みを学習し,優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-20T01:37:21Z)
• Safe Exploration in Reinforcement Learning: A Generalized Formulation and Algorithms [8.789204441461678]
  本稿では,安全な探査のためのメタアルゴリズムであるMASEの形で,安全な探査(GSE)問題の解を提案する。 提案アルゴリズムは,グリッドワールドおよびセーフティガイムベンチマークにおける最先端アルゴリズムよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-10-05T00:47:09Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
  我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。 我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2022-07-04T11:43:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。