論文の概要: EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents
- arxiv url: http://arxiv.org/abs/2408.04449v3
- Date: Tue, 15 Oct 2024 07:45:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 12:11:36.784656
- Title: EAIRiskBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents
- Title（参考訳）: EAIRiskBench: 基礎モデルに基づく身体的AIエージェントのタスクプランニングにおける身体的リスク意識の評価
- Authors: Zihao Zhu, Bingzhe Wu, Zhengyou Zhang, Lei Han, Baoyuan Wu,
- Abstract要約: EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
- 参考スコア（独自算出の注目度）: 47.69642609574771
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embodied artificial intelligence (EAI) integrates advanced AI models into physical entities for real-world interaction. The emergence of foundation models as the "brain" of EAI agents for high-level task planning has shown promising results. However, the deployment of these agents in physical environments presents significant safety challenges. For instance, a housekeeping robot lacking sufficient risk awareness might place a metal container in a microwave, potentially causing a fire. To address these critical safety concerns, comprehensive pre-deployment risk assessments are imperative. This study introduces EAIRiskBench, a novel framework for automated physical risk assessment in EAI scenarios. EAIRiskBench employs a multi-agent cooperative system that leverages various foundation models to generate safety guidelines, create risk-prone scenarios, make task planning, and evaluate safety systematically. Utilizing this framework, we construct EAIRiskDataset, comprising diverse test cases across various domains, encompassing both textual and visual scenarios. Our comprehensive evaluation of state-of-the-art foundation models reveals alarming results: all models exhibit high task risk rates (TRR), with an average of 95.75% across all evaluated models. To address these challenges, we further propose two prompting-based risk mitigation strategies. While these strategies demonstrate some efficacy in reducing TRR, the improvements are limited, still indicating substantial safety concerns. This study provides the first large-scale assessment of physical risk awareness in EAI agents. Our findings underscore the critical need for enhanced safety measures in EAI systems and provide valuable insights for future research directions in developing safer embodied artificial intelligence system.
- Abstract（参考訳）: EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としての基盤モデルの出現は、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
例えば、十分なリスク認識を欠いたハウスキーピングロボットは、金属容器をマイクロ波に配置し、火災を引き起こす可能性がある。
これらの重要な安全上の懸念に対処するためには、総合的なデプロイ前のリスク評価が不可欠である。
EAIRiskBenchは、EAIシナリオにおける自動物理的リスクアセスメントのための新しいフレームワークである。
EAIRiskBenchは、様々な基礎モデルを利用して安全ガイドラインを作成し、リスクを発生させるシナリオを作成し、タスク計画を作成し、安全を体系的に評価するマルチエージェント協調システムを採用している。
このフレームワークを利用することで、さまざまなドメインにわたるさまざまなテストケースで構成され、テキストシナリオと視覚シナリオの両方を含むEAIRiskDatasetを構築します。
全てのモデルは高いタスクリスク率(TRR)を示し、すべての評価されたモデルの平均は95.75%である。
これらの課題に対処するため、我々はさらに2つのリスク軽減戦略を提案する。
これらの戦略はTRRを減らす効果を示すが、改善は限定的であり、依然としてかなりの安全性上の懸念を示している。
本研究は,EAIエージェントにおける身体的リスク意識の大規模評価を初めて行った。
本研究は,EAIシステムにおける安全対策の強化の必要性を浮き彫りにして,より安全な組込み人工知能システムを開発する上での今後の研究の方向性に価値ある洞察を提供するものである。
関連論文リスト
- Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。
ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。
我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
論文 参考訳（メタデータ） (2025-02-18T02:26:50Z) - Safety at Scale: A Comprehensive Survey of Large Model Safety [299.801463557549]
我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。
我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
論文 参考訳（メタデータ） (2025-02-02T05:14:22Z) - Don't Let Your Robot be Harmful: Responsible Robotic Manipulation [57.70648477564976]
ロボット操作における人間の指示の実行は、深刻な安全性のリスクにつながる可能性がある。
i) 安全リスクを含むシナリオを自動生成し、仮想的なインタラクションを行う世界モデルと、(ii) 反射による結果を予測するメンタルモデルを含む。
本研究は, 安全行政がリスクを回避し, 合成データセットと実世界の両方の実験において, 効率的にタスクを完了できることを実証する。
論文 参考訳（メタデータ） (2024-11-27T12:27:50Z) - A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation [0.3413711585591077]
大規模言語モデル(LLM)や拡散モデルを含む生成AIシステムが急速に進歩するにつれ、その採用が増加し、新たな複雑なセキュリティリスクがもたらされた。
本稿では,これらの突発的なセキュリティリスクを分類・緩和するための新しい形式的枠組みを提案する。
我々は、潜時空間利用、マルチモーダル・クロスアタック・ベクター、フィードバックループによるモデル劣化など、未探索のリスクを特定した。
論文 参考訳（メタデータ） (2024-10-15T02:51:32Z) - Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。
我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。
これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
論文 参考訳（メタデータ） (2024-09-03T10:14:51Z) - Towards Safer Generative Language Models: A Survey on Safety Risks,
Evaluations, and Improvements [76.80453043969209]
本調査では,大規模モデルに関する安全研究の枠組みについて述べる。
まず、広範囲にわたる安全問題を導入し、その後、大型モデルの安全性評価手法を掘り下げる。
トレーニングからデプロイメントまで,大規模なモデルの安全性を高めるための戦略について検討する。
論文 参考訳（メタデータ） (2023-02-18T09:32:55Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Modeling and mitigation of occupational safety risks in dynamic
industrial environments [0.0]
本稿では,データ駆動方式で安全リスクを連続的かつ定量的に評価する手法を提案する。
オンライン形式で安全データからこのモデルを校正するために、完全なベイズ的アプローチが開発されている。
提案したモデルは自動意思決定に利用することができる。
論文 参考訳（メタデータ） (2022-05-02T13:04:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。