論文の概要: Open Challenges in Multi-Agent Security: Towards Secure Systems of Interacting AI Agents

• arxiv url: http://arxiv.org/abs/2505.02077v1
• Date: Sun, 04 May 2025 12:03:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.416366
• Title: Open Challenges in Multi-Agent Security: Towards Secure Systems of Interacting AI Agents
• Title（参考訳）: マルチエージェントセキュリティにおけるオープンチャレンジ - 対話型AIエージェントのセキュアシステムに向けて
• Authors: Christian Schroeder de Witt,
• Abstract要約: 分散AIエージェントはすぐにインターネットプラットフォーム間で対話し、従来のサイバーセキュリティやAI安全フレームワークを超えたセキュリティ上の課題を生み出す。 textbfmulti-agent Securityは、分散化されたAIエージェントのネットワークを、そのインタラクションを通じて出現または増幅する脅威に対して保護する、新たな分野である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized AI agents will soon interact across internet platforms, creating security challenges beyond traditional cybersecurity and AI safety frameworks. Free-form protocols are essential for AI's task generalization but enable new threats like secret collusion and coordinated swarm attacks. Network effects can rapidly spread privacy breaches, disinformation, jailbreaks, and data poisoning, while multi-agent dispersion and stealth optimization help adversaries evade oversightcreating novel persistent threats at a systemic level. Despite their critical importance, these security challenges remain understudied, with research fragmented across disparate fields including AI security, multi-agent learning, complex systems, cybersecurity, game theory, distributed systems, and technical AI governance. We introduce \textbf{multi-agent security}, a new field dedicated to securing networks of decentralized AI agents against threats that emerge or amplify through their interactionswhether direct or indirect via shared environmentswith each other, humans, and institutions, and characterize fundamental security-performance trade-offs. Our preliminary work (1) taxonomizes the threat landscape arising from interacting AI agents, (2) surveys security-performance tradeoffs in decentralized AI systems, and (3) proposes a unified research agenda addressing open challenges in designing secure agent systems and interaction environments. By identifying these gaps, we aim to guide research in this critical area to unlock the socioeconomic potential of large-scale agent deployment on the internet, foster public trust, and mitigate national security risks in critical infrastructure and defense contexts.
• Abstract（参考訳）: 分散AIエージェントはすぐにインターネットプラットフォーム間で対話し、従来のサイバーセキュリティやAI安全フレームワークを超えたセキュリティ上の課題を生み出す。 フリーフォームプロトコルはAIのタスクの一般化には不可欠だが、秘密の共謀や協調したSwarm攻撃のような新たな脅威を可能にする。 ネットワーク効果は、プライバシー侵害、偽情報、脱獄、データ中毒を急速に広める一方、マルチエージェント分散とステルス最適化は、敵が新たな永続的脅威をシステムレベルで監視するのを防ぐのに役立つ。 AIセキュリティ、マルチエージェント学習、複雑なシステム、サイバーセキュリティ、ゲーム理論、分散システム、技術的AIガバナンスなど、さまざまな分野の研究が分断されている。 これは、分散化されたAIエージェントのネットワークを、相互に共有された環境、人間、機関を介して直接的または間接的に行われる脅威に対して保護し、基本的なセキュリティとパフォーマンスのトレードオフを特徴付けるための新しい分野である。 予備研究として,(1)対話型AIエージェントによる脅威状況の分類,(2)分散型AIシステムにおけるセキュリティ・パフォーマンストレードオフの調査,(3)セキュアなエージェントシステムとインタラクション環境を設計する上でのオープンな課題に対処する統一的な研究課題を提案する。 これらのギャップを見極めることで,インターネット上の大規模エージェント展開の社会経済的ポテンシャルを解き放ち,公共の信頼を育み,重要なインフラや防衛状況における国家安全保障リスクを軽減するために,この重要な領域の研究をガイドすることを目指している。

関連論文リスト

• Securing Agentic AI: A Comprehensive Threat Model and Mitigation Framework for Generative AI Agents [0.0]
  本稿では,GenAIエージェントに特化した包括的脅威モデルを提案する。 研究は、9つの主要な脅威を特定し、5つの主要なドメインにまたがってそれらを整理する。
  論文  参考訳（メタデータ） (2025-04-28T16:29:24Z)
• AI threats to national security can be countered through an incident regime [55.2480439325792]
  我々は、AIシステムからの潜在的な国家安全保障脅威に対抗することを目的とした、法的に義務付けられたポストデプロイAIインシデントシステムを提案する。 提案したAIインシデント体制は,3段階に分けられる。第1フェーズは,‘AIインシデント’とみなすような,新たな運用方法を中心に展開される。 第2フェーズと第3フェーズでは、AIプロバイダが政府機関にインシデントを通知し、政府機関がAIプロバイダのセキュリティおよび安全手順の修正に関与するべきだ、と説明されている。
  論文  参考訳（メタデータ） (2025-03-25T17:51:50Z)
• Real AI Agents with Fake Memories: Fatal Context Manipulation Attacks on Web3 Agents [36.49717045080722]
  本稿では,ブロックチェーンベースの金融エコシステムにおけるAIエージェントの脆弱性を,現実のシナリオにおける敵対的脅威に曝露した場合に検討する。 我々は、保護されていないコンテキスト表面を利用する包括的攻撃ベクトルであるコンテキスト操作の概念を導入する。 これらの脆弱性を定量化するために、コンテキスト操作攻撃に対するAIエージェントの堅牢性を評価するWeb3ドメイン固有のベンチマークであるCrAIBenchを設計する。
  論文  参考訳（メタデータ） (2025-03-20T15:44:31Z)
• Towards Robust and Secure Embodied AI: A Survey on Vulnerabilities and Attacks [22.154001025679896]
  ロボットや自動運転車を含む身体的AIシステムは、現実のアプリケーションにますます統合されている。 これらの脆弱性は、センサーのスプーフィング、敵攻撃、タスクおよび動作計画における失敗を通じて現れる。
  論文  参考訳（メタデータ） (2025-02-18T03:38:07Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。