論文の概要: Learning of Robot Safety Policies via Adversarial Synthetic Scenarios
- arxiv url: http://arxiv.org/abs/2606.05952v1
- Date: Thu, 04 Jun 2026 09:51:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.704214
- Title: Learning of Robot Safety Policies via Adversarial Synthetic Scenarios
- Title(参考訳): 対話型合成シナリオによるロボット安全政策の学習
- Authors: Nikolai Dorofeev, Alexey Odinokov, Rostislav Yavorskiy,
- Abstract要約: 本稿では,ロボットの安全ポリシーのハザード・インフォームド・ラーニングのためのフレームワークを提案する。
我々はシナリオ生成を、2つのエージェント間の対戦ゲームとしてモデル化する。危険状況を構築することによって潜在的な失敗の空間を探索するレッドチームと、それを防ぐための安全ポリシーを漸進的に洗練するブルーチームである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this work, we propose an agentic gamification framework for hazard-informed learning of robot safety policies through synthetic scenarios. We model scenario generation as an adversarial game between two agents: a Red Team that explores the space of potential failures by constructing hazardous situations, and a Blue Team that incrementally refines safety policies to prevent them. This iterative process enables efficient discovery of high-risk edge cases that are unlikely to be captured through random simulation or manual enumeration. By combining classical risk modeling with adversarial scenario generation and modern learning paradigms, this work provides a scalable pathway for embedding safety into Physical AI systems operating in complex real-world environments. The paper describes ongoing work. The contribution is a problem formulation and a proposed solution architecture.
- Abstract(参考訳): 本研究では,ロボットの安全ポリシーのハザード・インフォームド・ラーニングのためのエージェント・ギャミフィケーション・フレームワークを提案する。
我々はシナリオ生成を、2つのエージェント間の対戦ゲームとしてモデル化する。危険状況を構築することによって潜在的な失敗の空間を探索するレッドチームと、それを防ぐための安全ポリシーを漸進的に洗練するブルーチームである。
この反復的なプロセスは、ランダムなシミュレーションや手動の列挙によって捉えられないような、リスクの高いエッジケースの効率的な発見を可能にする。
古典的リスクモデリングと逆シナリオ生成と現代的な学習パラダイムを組み合わせることで、複雑な現実世界環境で動作する物理AIシステムに安全性を組み込むためのスケーラブルな経路を提供する。
論文は進行中の作業について説明している。
コントリビューションは問題定式化と提案されたソリューションアーキテクチャである。
関連論文リスト
- SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。
完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。
AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
論文 参考訳(メタデータ) (2025-05-23T10:56:06Z) - AgentSGEN: Multi-Agent LLM in the Loop for Semantic Collaboration and GENeration of Synthetic Data [3.3186271052113843]
データ不足は、建設安全など、安全クリティカルなアプリケーションのためにAIシステムをトレーニングする上で、大きな障害となる。
本稿では,2つのエージェント間の反復的,ループ内協調を用いた新しいマルチエージェントフレームワークを提案する。
LLMの推論能力と常識的知識によって、この共同設計は安全クリティカルなシナリオに合わせた合成画像を生成する。
論文 参考訳(メタデータ) (2025-05-07T22:43:33Z) - From Mystery to Mastery: Failure Diagnosis for Improving Manipulation Policies [35.18739716338974]
本稿では,臨界故障モード(FM)を自動的に識別するシステムであるロボットマニピュレーション診断(RoboMD)を提案する。
事前訓練された操作ポリシーにおける潜在的なFMの膨大な空間を考慮すると、深層強化学習(deep reinforcement learning, ディープRL)を活用してこれらのFMを探索し、発見する。
非構造環境における未知障害の診断におけるRoboMDの有効性を実証する。
論文 参考訳(メタデータ) (2024-12-03T20:34:51Z) - Don't Let Your Robot be Harmful: Responsible Robotic Manipulation via Safety-as-Policy [53.048430683355804]
ロボット操作における人間の指示の実行は、深刻な安全性のリスクにつながる可能性がある。
i) 安全リスクを含むシナリオを自動生成し、仮想的なインタラクションを行う世界モデルと、(ii) 反射による結果を予測するメンタルモデルを含む。
本研究は, 安全行政がリスクを回避し, 合成データセットと実世界の両方の実験において, 効率的にタスクを完了できることを実証する。
論文 参考訳(メタデータ) (2024-11-27T12:27:50Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳(メタデータ) (2024-08-08T13:19:37Z) - Safeguarded Progress in Reinforcement Learning: Safe Bayesian
Exploration for Control Policy Synthesis [63.532413807686524]
本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。
探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-12-18T16:09:43Z) - Towards Risk Modeling for Collaborative AI [5.941104748966331]
コラボレーティブaiシステムは、共通の目標を達成するために、共有空間で人間と協力することを目指している。
この設定は、人間を傷つける可能性のある接触により、潜在的に危険な状況を引き起こす。
協調型AIシステムに合わせたリスクモデリング手法を紹介します。
論文 参考訳(メタデータ) (2021-03-12T18:53:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。