論文の概要: SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents

• arxiv url: http://arxiv.org/abs/2412.13178v3
• Date: Tue, 25 Feb 2025 09:20:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:18:39.191880
• Title: SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents
• Title（参考訳）: SafeAgentBench: LLMエージェントの安全なタスク計画のためのベンチマーク
• Authors: Sheng Yin, Xianghe Pang, Yuanzhuo Ding, Menglan Chen, Yutong Bi, Yichen Xiong, Wenhao Huang, Zhen Xiang, Jing Shao, Siheng Chen,
• Abstract要約: LLMエージェントの安全性を考慮したタスク計画のための新しいベンチマークであるSafeAgentBenchを提案する。 SafeAgentBenchは、(1)10の潜在的なハザードと3つのタスクタイプをカバーする750のタスクを持つ新しいデータセット、(2)SafeAgentEnv、低レベルコントローラを備えた普遍的な実施環境、8つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートする、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
• 参考スコア（独自算出の注目度）: 42.69984822098671
• License:
• Abstract: With the integration of large language models (LLMs), embodied agents have strong capabilities to process the scene information and plan complicated instructions in natural language, paving the way for the potential deployment of embodied robots. However, a foreseeable issue is that those embodied agents can also flawlessly execute some hazardous tasks, potentially causing damages in the real world. To study this issue, we present SafeAgentBench-a new benchmark for safety-aware task planning of embodied LLM agents. SafeAgentBench includes: (1) a new dataset with 750 tasks, covering 10 potential hazards and 3 task types; (2) SafeAgentEnv, a universal embodied environment with a low-level controller, supporting multi-agent execution with 17 high-level actions for 8 state-of-the-art baselines; and (3) reliable evaluation methods from both execution and semantic perspectives. Experimental results show that, although agents based on different design frameworks exhibit substantial differences in task success rates, their overall safety awareness remains weak. The most safety-conscious baseline achieves only a 10\% rejection rate for detailed hazardous tasks. Moreover, simply replacing the LLM driving the agent does not lead to notable improvements in safety awareness. More details and code are available at https://github.com/shengyin1224/SafeAgentBench.
• Abstract（参考訳）: 大型言語モデル(LLM)の統合により、エンボディエージェントはシーン情報を処理し、自然言語で複雑な命令を計画する能力を持つようになり、エンボディされたロボットの潜在的展開の道を開くことができる。 しかし、予想される問題は、これらのエンボディされたエージェントが、いくつかの有害なタスクを完璧に実行し、現実世界にダメージを与える可能性があることである。 本研究は, LLMエージェントの安全性を考慮したタスク計画のための新しいベンチマークであるSafeAgentBenchを提案する。 SafeAgentBenchは、(1)10の潜在的なハザードと3つのタスクタイプをカバーする750のタスクを持つ新しいデータセット、(2)SafeAgentEnv、低レベルコントローラを備えた普遍的な実施環境、8つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートする、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。 実験の結果, 異なる設計枠組みに基づくエージェントは, タスク成功率にかなりの差があるものの, 全体としての安全性の意識は弱いことが示唆された。 最も安全性に敏感なベースラインは、詳細な有害なタスクに対して10倍の拒絶率しか達成していない。 さらに、単にLSMを運転するエージェントを置き換えるだけでは、安全意識の顕著な改善には至らない。 詳細とコードはhttps://github.com/shengyin1224/SafeAgentBench.comで確認できる。

関連論文リスト

• AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection [47.83354878065321]
  我々は,エージェントの安全性を高めるため,生涯のガードレールであるAGrailを提案する。 AGrailは適応型安全チェック生成、効果的な安全チェック最適化、ツールの互換性と柔軟性を備えている。
  論文  参考訳（メタデータ） (2025-02-17T05:12:33Z)
• Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
  我々は,大規模言語モデル(LLM)の安全性を評価するための総合ベンチマークであるAgent-SafetyBenchを紹介する。 Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。 16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
  論文  参考訳（メタデータ） (2024-12-19T02:35:15Z)
• AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents [84.96249955105777]
  LLMエージェントは誤用された場合、より大きなリスクを引き起こすが、その堅牢性は未発見のままである。 我々は, LLMエージェント誤用の研究を容易にするために, AgentHarmと呼ばれる新しいベンチマークを提案する。 主要なLLMは、ジェイルブレイクなしで悪意のあるエージェント要求に驚くほど準拠している。
  論文  参考訳（メタデータ） (2024-10-11T17:39:22Z)
• Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents [32.62654499260479]
  Agent Security Bench (ASB) は、LSMベースのエージェントの攻撃と防御を形式化し、ベンチマークし、評価するためのフレームワークである。 我々は, インジェクション攻撃10件, メモリ中毒攻撃, 新規のPlan-of-Thoughtバックドア攻撃, 混合攻撃10件, 対応するバックボーン13件についてベンチマークを行った。 ベンチマークの結果,システムプロンプト,ユーザプロンプト処理,ツール使用量,メモリ検索など,エージェント操作のさまざまな段階における重大な脆弱性が明らかになった。
  論文  参考訳（メタデータ） (2024-10-03T16:30:47Z)
• AgentMonitor: A Plug-and-Play Framework for Predictive and Secure Multi-Agent Systems [43.333567687032904]
  AgentMonitorはエージェントレベルで統合されたフレームワークで、インプットとアウトプットをキャプチャし、回帰モデルをトレーニングしてタスクのパフォーマンスを予測する統計に変換する。 さらに、悪意のあるエージェントによるセキュリティリスクに対処し、ネガティブな影響を軽減し、MASセキュリティを強化するために、リアルタイムの修正を適用することができる。
  論文  参考訳（メタデータ） (2024-08-27T11:24:38Z)
• TrustAgent: Towards Safe and Trustworthy LLM-based Agents [50.33549510615024]
  本稿では,エージェント・コンスティチューションをベースとしたエージェント・フレームワークであるTrustAgentについて述べる。 提案枠組みは,計画立案前のモデルに安全知識を注入する事前計画戦略,計画立案時の安全性を高める内計画戦略,計画後検査による安全性を確保する後計画戦略の3つの戦略要素を通じて,エージェント憲法の厳格な遵守を保証する。
  論文  参考訳（メタデータ） (2024-02-02T17:26:23Z)
• Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
  言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。 これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。 ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
  論文  参考訳（メタデータ） (2023-09-25T17:08:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。