論文の概要: Do Androids Dream of Electric Fences? Safety-Aware Reinforcement
Learning with Latent Shielding
- arxiv url: http://arxiv.org/abs/2112.11490v1
- Date: Tue, 21 Dec 2021 19:11:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-24 01:59:31.425055
- Title: Do Androids Dream of Electric Fences? Safety-Aware Reinforcement
Learning with Latent Shielding
- Title（参考訳）: Androidは電気フェンスを夢見るか?
潜水シールドを用いた安全意識強化学習
- Authors: Peter He, Borja G. Leon, Francesco Belardinelli
- Abstract要約: 潜伏遮蔽と呼ばれる高次元環境における安全性を考慮した深層強化学習のための新しいアプローチを提案する。
潜在遮蔽は、モデルベースのエージェントが学習した環境の内部表現を利用して、将来の軌跡を「想像」し、安全でないと見なされるものを避ける。
- 参考スコア（独自算出の注目度）: 18.54615448101203
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The growing trend of fledgling reinforcement learning systems making their
way into real-world applications has been accompanied by growing concerns for
their safety and robustness. In recent years, a variety of approaches have been
put forward to address the challenges of safety-aware reinforcement learning;
however, these methods often either require a handcrafted model of the
environment to be provided beforehand, or that the environment is relatively
simple and low-dimensional. We present a novel approach to safety-aware deep
reinforcement learning in high-dimensional environments called latent
shielding. Latent shielding leverages internal representations of the
environment learnt by model-based agents to "imagine" future trajectories and
avoid those deemed unsafe. We experimentally demonstrate that this approach
leads to improved adherence to formally-defined safety specifications.
- Abstract（参考訳）: 先進的な強化学習システムが現実の応用に進出する傾向は、その安全性と堅牢性への懸念が高まっている。
近年, 安全に配慮した強化学習の課題に対処するために, 様々なアプローチが提案されているが, 事前に提供すべき環境のハンドクラフトモデルや, 比較的単純で低次元の環境を必要とする場合が多い。
潜伏遮蔽と呼ばれる高次元環境における安全性を考慮した深層強化学習手法を提案する。
潜在遮蔽は、モデルベースのエージェントが学習した環境の内部表現を利用して、将来の軌跡を「想像」し、安全でないと見なされるものを避ける。
本稿では,本手法が安全仕様の遵守性の向上につながることを実験的に実証する。
関連論文リスト
- Progressive Safeguards for Safe and Model-Agnostic Reinforcement Learning [5.593642806259113]
我々は、各タスクが安全を監視し、エージェントに報酬信号を提供するセーフガードと同期するメタラーニングプロセスをモデル化する。
セーフガードの設計は手動だが、高レベルでモデルに依存しないため、エンドツーエンドの安全な学習アプローチがもたらされる。
我々は、MinecraftにインスパイアされたGridworld、VizDoomゲーム環境、LLMファインチューニングアプリケーションでフレームワークを評価した。
論文 参考訳（メタデータ） (2024-10-31T16:28:33Z) - ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning [48.536695794883826]
本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。
本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。
さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
論文 参考訳（メタデータ） (2024-10-12T10:46:02Z) - Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning [57.84059344739159]
シールドディング」は、強化学習(RL)の安全性を強制する一般的な手法である
安全と遮蔽構造に対処する新しい許容性に基づく枠組みを提案する。
論文 参考訳（メタデータ） (2024-05-29T18:00:21Z) - Leveraging Approximate Model-based Shielding for Probabilistic Safety
Guarantees in Continuous Environments [63.053364805943026]
近似モデルベースの遮蔽フレームワークを連続的な設定に拡張する。
特に、テストベッドとしてSafety Gymを使用し、一般的な制約付きRLアルゴリズムとABBSのより直接的な比較を可能にします。
論文 参考訳（メタデータ） (2024-02-01T17:55:08Z) - The Art of Defending: A Systematic Evaluation and Analysis of LLM
Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。
本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
論文 参考訳（メタデータ） (2023-12-30T17:37:06Z) - Safeguarded Progress in Reinforcement Learning: Safe Bayesian
Exploration for Control Policy Synthesis [63.532413807686524]
本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。
探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-12-18T16:09:43Z) - State-Wise Safe Reinforcement Learning With Pixel Observations [12.338614299403305]
本稿では,未知の危険領域に対する安全性の制約を効率的にエンコードする,新しい画素オブザービングセーフなRLアルゴリズムを提案する。
共同学習の枠組みとして,画素観測から導出した低次元潜在空間を用いた潜在力学モデルの構築から着目する。
次に、潜時力学の上に潜時バリアのような機能を構築・学習し、同時にポリシー最適化を行い、それによって安全性と総リターンの両方を改善します。
論文 参考訳（メタデータ） (2023-11-03T20:32:30Z) - Towards Safer Generative Language Models: A Survey on Safety Risks,
Evaluations, and Improvements [76.80453043969209]
本調査では,大規模モデルに関する安全研究の枠組みについて述べる。
まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。
トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
論文 参考訳（メタデータ） (2023-02-18T09:32:55Z) - Risk-Averse Model Uncertainty for Distributionally Robust Safe
Reinforcement Learning [3.9821399546174825]
不確実な環境での安全な意思決定のための深層強化学習フレームワークを提案する。
我々は,このフレームワークに対して,分散的に堅牢な強化学習問題の特定のクラスと等価であることを示すことによって,堅牢性を保証する。
安全性の制約のある継続的制御タスクの実験では、当社のフレームワークが、さまざまな障害のあるテスト環境にわたるデプロイメント時に、堅牢なパフォーマンスと安全性を実現していることを示す。
論文 参考訳（メタデータ） (2023-01-30T00:37:06Z) - Guiding Safe Exploration with Weakest Preconditions [15.469452301122177]
安全クリティカルな設定のための強化学習では、エージェントはあらゆる時点において安全制約に従うことが望ましい。
我々はこの安全な探索問題を解決するためにSPICEと呼ばれる新しいニューロシンボリックアプローチを提案する。
論文 参考訳（メタデータ） (2022-09-28T14:58:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。