論文の概要: SafeEmbodAI: a Safety Framework for Mobile Robots in Embodied AI Systems
- arxiv url: http://arxiv.org/abs/2409.01630v1
- Date: Tue, 3 Sep 2024 05:56:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 02:43:06.875815
- Title: SafeEmbodAI: a Safety Framework for Mobile Robots in Embodied AI Systems
- Title（参考訳）: SafeEmbodAI: エンボダイドAIシステムにおける移動ロボットの安全フレームワーク
- Authors: Wenxiao Zhang, Xiangrui Kong, Thomas Braunl, Jin B. Hong,
- Abstract要約: 物理的世界と自律的に対話するAIロボットを含む、身体化されたAIシステムは、かなり進歩している。
不適切な安全管理は、複雑な環境で障害を引き起こし、悪意のあるコマンドインジェクションに対してシステムが脆弱になる。
我々は,移動ロボットを組込みAIシステムに統合するための安全フレームワークであるtextitSafeEmbodAIを提案する。
- 参考スコア（独自算出の注目度）: 5.055705635181593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embodied AI systems, including AI-powered robots that autonomously interact with the physical world, stand to be significantly advanced by Large Language Models (LLMs), which enable robots to better understand complex language commands and perform advanced tasks with enhanced comprehension and adaptability, highlighting their potential to improve embodied AI capabilities. However, this advancement also introduces safety challenges, particularly in robotic navigation tasks. Improper safety management can lead to failures in complex environments and make the system vulnerable to malicious command injections, resulting in unsafe behaviours such as detours or collisions. To address these issues, we propose \textit{SafeEmbodAI}, a safety framework for integrating mobile robots into embodied AI systems. \textit{SafeEmbodAI} incorporates secure prompting, state management, and safety validation mechanisms to secure and assist LLMs in reasoning through multi-modal data and validating responses. We designed a metric to evaluate mission-oriented exploration, and evaluations in simulated environments demonstrate that our framework effectively mitigates threats from malicious commands and improves performance in various environment settings, ensuring the safety of embodied AI systems. Notably, In complex environments with mixed obstacles, our method demonstrates a significant performance increase of 267\% compared to the baseline in attack scenarios, highlighting its robustness in challenging conditions.
- Abstract（参考訳）: ロボットは複雑な言語コマンドをよりよく理解し、理解力と適応性を高めて高度なタスクを実行できる。
しかし、この進歩は、特にロボットナビゲーションタスクにおいて、安全上の課題も引き起こす。
不適切な安全性管理は複雑な環境での障害を招き、悪意のあるコマンドインジェクションに対してシステムが脆弱になる可能性がある。
これらの問題に対処するために,モバイルロボットを組込みAIシステムに統合するための安全フレームワークである‘textit{SafeEmbodAI} を提案する。
\textit{SafeEmbodAI} にはセキュアなプロンプト、状態管理、安全性検証機構が組み込まれており、マルチモーダルデータによる推論と応答の検証において LLM の保護と支援を行う。
我々は、ミッション指向の探索を評価するための指標を設計し、シミュレーション環境での評価は、我々のフレームワークが悪意のあるコマンドからの脅威を効果的に軽減し、様々な環境設定におけるパフォーマンスを改善し、組み込まれたAIシステムの安全性を保証することを実証する。
特に,混合障害のある複雑な環境では,攻撃シナリオのベースラインに比べて267倍の大幅な性能向上を示し,その頑健さを強調した。
関連論文リスト
- ABNet: Attention BarrierNet for Safe and Scalable Robot Learning [58.4951884593569]
バリアベースの手法は、安全なロボット学習における主要なアプローチの1つである。
本稿では,より大規模な基本安全モデルを段階的に構築するスケーラブルなAttention BarrierNet(ABNet)を提案する。
2次元ロボット障害物回避、安全なロボット操作、視覚に基づくエンドツーエンド自動運転におけるABNetの強みを実証する。
論文 参考訳（メタデータ） (2024-06-18T19:37:44Z) - Safety Control of Service Robots with LLMs and Embodied Knowledge Graphs [12.787160626087744]
本稿では,大規模言語モデルとERCP(Embodied Robotic Control Prompts)とEKG(Embodied Knowledge Graphs)との新たな統合を提案する。
ERCPは、LLMが安全かつ正確な応答を生成するための事前定義された命令として設計されている。
EKGは、ロボットの動作が安全プロトコルと継続的に一致していることを保証する包括的な知識基盤を提供する。
論文 参考訳（メタデータ） (2024-05-28T05:50:25Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
論文 参考訳（メタデータ） (2024-02-15T22:01:45Z) - Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。
LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。
適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
論文 参考訳（メタデータ） (2023-11-28T03:13:09Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Security Considerations in AI-Robotics: A Survey of Current Methods,
Challenges, and Opportunities [4.466887678364242]
本稿では,AI-ロボティクスシステムにおけるセキュリティ問題への対処の必要性から,3次元にわたる包括的調査と分類について述べる。
まず、潜在的な攻撃面を調査し、防御戦略を緩和することから始める。
次に、依存関係や心理的影響などの倫理的問題や、これらのシステムに対する説明責任に関する法的懸念を掘り下げる。
論文 参考訳（メタデータ） (2023-10-12T17:54:20Z) - AI Maintenance: A Robustness Perspective [91.28724422822003]
我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。
本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。
我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
論文 参考訳（メタデータ） (2023-01-08T15:02:38Z) - Synergistic Redundancy: Towards Verifiable Safety for Autonomous
Vehicles [10.277825331268179]
我々は、自律走行車(AV)のような複雑なサイバー物理システムのための安全アーキテクチャとして、シナジスティック冗長性(SR)を提案する。
SRは、システムのミッションと安全タスクを分離することで、特定の障害に対する検証可能な安全保証を提供する。
ミッション層との密接な調整により、システム内の安全クリティカルな障害を容易かつ早期に検出することができる。
論文 参考訳（メタデータ） (2022-09-04T23:52:03Z) - Safe AI -- How is this Possible? [0.45687771576879593]
従来の安全エンジニアリングは、決定論的で非進化的なシステムが、明確に定義されたコンテキストで運用されるものから、予測不可能な操作コンテキストで機能する自律的で学習可能なAIシステムへと、転換点に近づいている。
我々は、安全AIの基本的な課題を概説し、AIシステムの安全な振る舞いにおいて、不確実性を最小化し、信頼性を高め、許容レベルまで、厳格なエンジニアリングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-01-25T16:32:35Z) - TanksWorld: A Multi-Agent Environment for AI Safety Research [5.218815947097599]
複雑なタスクを実行できる人工知能を作成する能力は、AI対応システムの安全かつ確実な運用を保証する能力を急速に上回っている。
AIの安全性リスクを示す最近のシミュレーション環境は、特定の問題に比較的単純または狭く焦点を絞っている。
我々は,3つの重要な側面を持つAI安全研究環境として,AI安全タンクワールドを紹介した。
論文 参考訳（メタデータ） (2020-02-25T21:00:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。