Fugu-MT 論文翻訳(概要): Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies

論文の概要: Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies

arxiv url: http://arxiv.org/abs/2409.10218v1
Date: Mon, 16 Sep 2024 12:13:41 GMT
ステータス: 処理完了
システム内更新日: 2024-09-17 15:40:35.094439
Title: Safety-Oriented Pruning and Interpretation of Reinforcement Learning Policies
Title（参考訳）: 強化学習政策の安全性と解釈
Authors: Dennis Gross, Helge Spieker,
Abstract要約: Pruning Neural Network(NN)はそれらを合理化するが、安全な強化学習(RL)ポリシから重要なパラメータを取り除くリスクがある。本稿では,NNプルーニングとモデルチェックを併用して,解釈可能なRL安全性を確保する,VERINTERと呼ばれる解釈可能なRL手法を提案する。
参考スコア（独自算出の注目度）: 5.923818043882103
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pruning neural networks (NNs) can streamline them but risks removing vital parameters from safe reinforcement learning (RL) policies. We introduce an interpretable RL method called VERINTER, which combines NN pruning with model checking to ensure interpretable RL safety. VERINTER exactly quantifies the effects of pruning and the impact of neural connections on complex safety properties by analyzing changes in safety measurements. This method maintains safety in pruned RL policies and enhances understanding of their safety dynamics, which has proven effective in multiple RL settings.
Abstract（参考訳）: Pruning Neural Network(NN)はそれらを合理化するが、安全な強化学習(RL)ポリシから重要なパラメータを取り除くリスクがある。本稿では,NNプルーニングとモデルチェックを併用して,解釈可能なRL安全性を確保する,VERINTERと呼ばれる解釈可能なRL手法を提案する。 VERINTERは、プルーニングの影響と神経接続が複雑な安全特性に与える影響を、安全測定の変化を分析することによって正確に定量化する。本手法は, プルーニングされたRLポリシーの安全性を維持し, 複数のRL設定において有効であることが証明された, 安全性のダイナミクスの理解を高める。

関連論文リスト

Safety Filtering While Training: Improving the Performance and Sample Efficiency of Reinforcement Learning Agents [7.55113002732746]
強化学習(RL)コントローラは柔軟で性能が高いが、安全性を保証することは滅多にない。安全フィルタは、柔軟性を維持しながら、RLコントローラにハードセーフの保証を与える。我々は、評価中にのみ適用するのではなく、トレーニング用RLコントローラに安全フィルタを組み込むためのいくつかの変更を分析した。
論文参考訳（メタデータ） (2024-10-15T15:01:57Z)
Sampling-based Safe Reinforcement Learning for Nonlinear Dynamical Systems [15.863561935347692]
非線形力学系の制御のための安全かつ収束性のある強化学習アルゴリズムを開発した。制御とRLの交差点における最近の進歩は、ハードセーフティ制約を強制するための2段階の安全フィルタアプローチに従っている。我々は,古典的な収束保証を享受するRLコントローラを学習する,一段階のサンプリングに基づくハード制約満足度へのアプローチを開発する。
論文参考訳（メタデータ） (2024-03-06T19:39:20Z)
Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文参考訳（メタデータ） (2024-02-07T21:58:40Z)
The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
論文参考訳（メタデータ） (2023-12-30T17:37:06Z)
Online Safety Property Collection and Refinement for Safe Deep Reinforcement Learning in Mapless Navigation [79.89605349842569]
オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。 CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
論文参考訳（メタデータ） (2023-02-13T21:19:36Z)
Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文参考訳（メタデータ） (2022-07-04T11:43:23Z)
Provably Safe Reinforcement Learning: Conceptual Analysis, Survey, and Benchmarking [12.719948223824483]
強化学習(RL)アルゴリズムは、多くの現実世界のタスクにおいて、その潜在能力を解き放つために不可欠である。しかしながら、バニラRLと最も安全なRLアプローチは安全性を保証するものではない。本稿では,既存の安全なRL手法の分類を導入し,連続的および離散的な動作空間の概念的基礎を提示し,既存の手法を実証的にベンチマークする。本稿では、安全仕様、RLアルゴリズム、アクション空間の種類に応じて、確実に安全なRLアプローチを選択するための実用的なガイダンスを提供する。
論文参考訳（メタデータ） (2022-05-13T16:34:36Z)
SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition [59.94644674087599]
安全制約下での複雑な制御タスクにおけるポリシー学習を高速化するアルゴリズムであるSAFEty skill pRiors (SAFER)を提案する。オフラインデータセットでの原則的なトレーニングを通じて、SAFERは安全なプリミティブスキルの抽出を学ぶ。推論段階では、SAFERで訓練されたポリシーは、安全なスキルを成功のポリシーに組み込むことを学ぶ。
論文参考訳（メタデータ） (2022-02-10T05:43:41Z)
Safe Model-Based Reinforcement Learning Using Robust Control Barrier Functions [43.713259595810854]
安全に対処する一般的なアプローチとして、安全層が追加され、RLアクションを安全な一連のアクションに投影する。本稿では,モデルベースRLフレームワークにおけるロバスト制御バリア機能層としての安全性について述べる。
論文参考訳（メタデータ） (2021-10-11T17:00:45Z)
Assured Learning-enabled Autonomy: A Metacognitive Reinforcement Learning Framework [4.427447378048202]
事前指定された報酬機能を持つ強化学習(rl)エージェントは、さまざまな状況で安全性を保証できない。本稿では,メタ認知学習機能を備えたRLアルゴリズムを用いて,自律制御フレームワークを提案する。
論文参考訳（メタデータ） (2021-03-23T14:01:35Z)
Cautious Reinforcement Learning with Logical Constraints [78.96597639789279]
適応型安全なパッドディングは、学習プロセス中の安全性を確保しつつ、RL(Reinforcement Learning)に最適な制御ポリシーの合成を強制する。理論的な保証は、合成されたポリシーの最適性と学習アルゴリズムの収束について利用できる。
論文参考訳（メタデータ） (2020-02-26T00:01:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。