論文の概要: SafeEmbodAI: a Safety Framework for Mobile Robots in Embodied AI Systems
- arxiv url: http://arxiv.org/abs/2409.01630v1
- Date: Tue, 3 Sep 2024 05:56:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 02:43:06.875815
- Title: SafeEmbodAI: a Safety Framework for Mobile Robots in Embodied AI Systems
- Title（参考訳）: SafeEmbodAI: エンボダイドAIシステムにおける移動ロボットの安全フレームワーク
- Authors: Wenxiao Zhang, Xiangrui Kong, Thomas Braunl, Jin B. Hong,
- Abstract要約: 物理的世界と自律的に対話するAIロボットを含む、身体化されたAIシステムは、かなり進歩している。
不適切な安全管理は、複雑な環境で障害を引き起こし、悪意のあるコマンドインジェクションに対してシステムが脆弱になる。
我々は,移動ロボットを組込みAIシステムに統合するための安全フレームワークであるtextitSafeEmbodAIを提案する。
- 参考スコア（独自算出の注目度）: 5.055705635181593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embodied AI systems, including AI-powered robots that autonomously interact with the physical world, stand to be significantly advanced by Large Language Models (LLMs), which enable robots to better understand complex language commands and perform advanced tasks with enhanced comprehension and adaptability, highlighting their potential to improve embodied AI capabilities. However, this advancement also introduces safety challenges, particularly in robotic navigation tasks. Improper safety management can lead to failures in complex environments and make the system vulnerable to malicious command injections, resulting in unsafe behaviours such as detours or collisions. To address these issues, we propose \textit{SafeEmbodAI}, a safety framework for integrating mobile robots into embodied AI systems. \textit{SafeEmbodAI} incorporates secure prompting, state management, and safety validation mechanisms to secure and assist LLMs in reasoning through multi-modal data and validating responses. We designed a metric to evaluate mission-oriented exploration, and evaluations in simulated environments demonstrate that our framework effectively mitigates threats from malicious commands and improves performance in various environment settings, ensuring the safety of embodied AI systems. Notably, In complex environments with mixed obstacles, our method demonstrates a significant performance increase of 267\% compared to the baseline in attack scenarios, highlighting its robustness in challenging conditions.
- Abstract（参考訳）: ロボットは複雑な言語コマンドをよりよく理解し、理解力と適応性を高めて高度なタスクを実行できる。
しかし、この進歩は、特にロボットナビゲーションタスクにおいて、安全上の課題も引き起こす。
不適切な安全性管理は複雑な環境での障害を招き、悪意のあるコマンドインジェクションに対してシステムが脆弱になる可能性がある。
これらの問題に対処するために,モバイルロボットを組込みAIシステムに統合するための安全フレームワークである‘textit{SafeEmbodAI} を提案する。
\textit{SafeEmbodAI} にはセキュアなプロンプト、状態管理、安全性検証機構が組み込まれており、マルチモーダルデータによる推論と応答の検証において LLM の保護と支援を行う。
我々は、ミッション指向の探索を評価するための指標を設計し、シミュレーション環境での評価は、我々のフレームワークが悪意のあるコマンドからの脅威を効果的に軽減し、様々な環境設定におけるパフォーマンスを改善し、組み込まれたAIシステムの安全性を保証することを実証する。
特に,混合障害のある複雑な環境では,攻撃シナリオのベースラインに比べて267倍の大幅な性能向上を示し,その頑健さを強調した。
関連論文リスト
- Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [70.93622520400385]
本稿では,VLAに基づくロボットシステムのロバスト性を体系的に評価する。
本研究では,ロボット行動の不安定化に空間的基盤を活用する,標的のない位置認識型攻撃目標を提案する。
また、カメラの視野内に小さなカラフルなパッチを配置し、デジタル環境と物理環境の両方で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
論文 参考訳（メタデータ） (2024-11-18T01:52:20Z) - Defining and Evaluating Physical Safety for Large Language Models [62.4971588282174]
大型言語モデル (LLM) は、ドローンのようなロボットシステムを制御するためにますます使われている。
現実世界のアプリケーションに物理的な脅威や害をもたらすリスクは、まだ解明されていない。
我々は,ドローンの物理的安全性リスクを,(1)目標脅威,(2)目標脅威,(3)インフラ攻撃,(4)規制違反の4つのカテゴリに分類する。
論文 参考訳（メタデータ） (2024-11-04T17:41:25Z) - HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。
私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。
我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
論文 参考訳（メタデータ） (2024-09-24T19:47:21Z) - Automated Cybersecurity Compliance and Threat Response Using AI, Blockchain & Smart Contracts [0.36832029288386137]
人工知能(AI)、ブロックチェーン、スマートコントラクトを統合する新しいフレームワークを提案する。
本稿では,セキュリティポリシの実施を自動化し,手作業や潜在的なヒューマンエラーを減らすシステムを提案する。
論文 参考訳（メタデータ） (2024-09-12T20:38:14Z) - EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [47.69642609574771]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - A Study on Prompt Injection Attack Against LLM-Integrated Mobile Robotic Systems [4.71242457111104]
大規模言語モデル(LLM)はマルチモーダルプロンプトを処理でき、よりコンテキスト対応の応答を生成することができる。
主な懸念事項の1つは、ロボットナビゲーションタスクでLLMを使用する際の潜在的なセキュリティリスクである。
本研究は,LPM統合システムにおける即時注入が移動ロボットの性能に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2024-08-07T02:48:22Z) - Safety Control of Service Robots with LLMs and Embodied Knowledge Graphs [12.787160626087744]
本稿では,大規模言語モデルとERCP(Embodied Robotic Control Prompts)とEKG(Embodied Knowledge Graphs)との新たな統合を提案する。
ERCPは、LLMが安全かつ正確な応答を生成するための事前定義された命令として設計されている。
EKGは、ロボットの動作が安全プロトコルと継続的に一致していることを保証する包括的な知識基盤を提供する。
論文 参考訳（メタデータ） (2024-05-28T05:50:25Z) - Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems [88.80306881112313]
我々は、AI安全性に対する一連のアプローチを紹介し、定義する。
これらのアプローチの中核的な特徴は、高保証の定量的安全性保証を備えたAIシステムを作ることである。
これら3つのコアコンポーネントをそれぞれ作成するためのアプローチを概説し、主な技術的課題を説明し、それらに対する潜在的なソリューションをいくつか提案します。
論文 参考訳（メタデータ） (2024-05-10T17:38:32Z) - Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
論文 参考訳（メタデータ） (2024-02-15T22:01:45Z) - Safe AI -- How is this Possible? [0.45687771576879593]
従来の安全エンジニアリングは、決定論的で非進化的なシステムが、明確に定義されたコンテキストで運用されるものから、予測不可能な操作コンテキストで機能する自律的で学習可能なAIシステムへと、転換点に近づいている。
我々は、安全AIの基本的な課題を概説し、AIシステムの安全な振る舞いにおいて、不確実性を最小化し、信頼性を高め、許容レベルまで、厳格なエンジニアリングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-01-25T16:32:35Z) - TanksWorld: A Multi-Agent Environment for AI Safety Research [5.218815947097599]
複雑なタスクを実行できる人工知能を作成する能力は、AI対応システムの安全かつ確実な運用を保証する能力を急速に上回っている。
AIの安全性リスクを示す最近のシミュレーション環境は、特定の問題に比較的単純または狭く焦点を絞っている。
我々は,3つの重要な側面を持つAI安全研究環境として,AI安全タンクワールドを紹介した。
論文 参考訳（メタデータ） (2020-02-25T21:00:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。