論文の概要: Security of AI Agents

• arxiv url: http://arxiv.org/abs/2406.08689v1
• Date: Wed, 12 Jun 2024 23:16:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 21:47:58.824622
• Title: Security of AI Agents
• Title（参考訳）: AIエージェントのセキュリティ
• Authors: Yifeng He, Ethan Wang, Yuyang Rong, Zifei Cheng, Hao Chen,
• Abstract要約: AIエージェントの研究と開発は、大規模言語モデルによって促進されている。 本稿では,システムセキュリティの観点から,これらの脆弱性を詳細に識別し,記述する。 本報告では, 各脆弱性に対応する防御機構について, 厳密な設計と実験を行い, その生存性を評価する。
• 参考スコア（独自算出の注目度）: 5.468745160706382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The study and development of AI agents have been boosted by large language models. AI agents can function as intelligent assistants and complete tasks on behalf of their users with access to tools and the ability to execute commands in their environments, Through studying and experiencing the workflow of typical AI agents, we have raised several concerns regarding their security. These potential vulnerabilities are not addressed by the frameworks used to build the agents, nor by research aimed at improving the agents. In this paper, we identify and describe these vulnerabilities in detail from a system security perspective, emphasizing their causes and severe effects. Furthermore, we introduce defense mechanisms corresponding to each vulnerability with meticulous design and experiments to evaluate their viability. Altogether, this paper contextualizes the security issues in the current development of AI agents and delineates methods to make AI agents safer and more reliable.
• Abstract（参考訳）: AIエージェントの研究と開発は、大規模言語モデルによって促進されている。 AIエージェントはインテリジェントアシスタントとして機能し、ツールへのアクセスと環境内でコマンドを実行する機能によって、ユーザに代わってタスクを完了することができる。一般的なAIエージェントのワークフローを研究し、経験することで、セキュリティに関するいくつかの懸念を提起した。 これらの潜在的な脆弱性は、エージェントを構築するために使用されるフレームワークや、エージェントを改善するための研究によって対処されない。 本稿では,これらの脆弱性をシステムセキュリティの観点から詳細に識別し,その原因と重大な影響を強調する。 さらに,各脆弱性に対応する防御機構を巧妙な設計と実験により導入し,その生存性を評価する。 さらに、この論文は、AIエージェントの現在の開発におけるセキュリティ問題を文脈的に分析し、AIエージェントをより安全で信頼性の高いものにするための方法を規定する。

関連論文リスト

• Multi-Agent Risks from Advanced AI [90.74347101431474]
  先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。 エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。 各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
  論文  参考訳（メタデータ） (2025-02-19T23:03:21Z)
• AgentOps: Enabling Observability of LLM Agents [12.49728300301026]
  大規模言語モデル(LLM)エージェントは、自律的で非決定論的行動のため、AI安全性に重大な懸念を提起する。 本稿では,エージェントのライフサイクル全体を通じて追跡されるべきアーティファクトと関連するデータを特定し,効果的な観測可能性を実現するための,AgentOpsの包括的な分類法を提案する。 私たちの分類は、監視、ロギング、分析をサポートするAgentOpsインフラストラクチャを設計、実装するためのリファレンステンプレートとして機能します。
  論文  参考訳（メタデータ） (2024-11-08T02:31:03Z)
• Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
  本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
  論文  参考訳（メタデータ） (2024-10-14T17:57:02Z)
• HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
  本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。 私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。 我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:47:21Z)
• Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
  本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。 我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。 これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
  論文  参考訳（メタデータ） (2024-09-03T10:14:51Z)
• Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
  我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。 我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
  論文  参考訳（メタデータ） (2024-07-31T17:59:24Z)
• AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways [10.16690494897609]
  人工知能(AI)エージェント(英: Artificial Intelligence, AI)は、自律的にタスクを実行したり、事前に定義された目的やデータ入力に基づいて決定を行うソフトウェアエンティティである。 この調査は、AIエージェントが直面している新たなセキュリティ脅威を掘り下げ、これらを4つの重要な知識ギャップに分類する。 これらの脅威を体系的にレビューすることにより、この論文はAIエージェントの保護における進歩と既存の制限の両方を強調している。
  論文  参考訳（メタデータ） (2024-06-04T01:22:31Z)
• Teams of LLM Agents can Exploit Zero-Day Vulnerabilities [3.2855317710497625]
  LLMエージェントのチームが実世界のゼロデイ脆弱性を悪用できることを示します。 我々は,サブエージェントを起動可能な計画エージェントを備えたエージェントシステムHPTSAを紹介する。 我々は15の現実世界の脆弱性のベンチマークを構築し、エージェントのチームが以前の作業よりも4.5$times$で改善できることを示します。
  論文  参考訳（メタデータ） (2024-06-02T16:25:26Z)
• Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
  本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。 サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。 ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
  論文  参考訳（メタデータ） (2024-05-09T18:15:12Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)
• Toward Trustworthy AI Development: Mechanisms for Supporting Verifiable Claims [59.64274607533249]
  AI開発者は、責任を負うことのできる検証可能な主張をする必要がある。 このレポートは、さまざまな利害関係者がAIシステムに関するクレームの妥当性を改善するための様々なステップを示唆している。 我々は、この目的のための10のメカニズム、すなわち、組織、ソフトウェア、ハードウェアを分析し、それらのメカニズムの実装、探索、改善を目的とした推奨を行う。
  論文  参考訳（メタデータ） (2020-04-15T17:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。