論文の概要: Agentic AI Security: Threats, Defenses, Evaluation, and Open Challenges

• arxiv url: http://arxiv.org/abs/2510.23883v1
• Date: Mon, 27 Oct 2025 21:48:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.589193
• Title: Agentic AI Security: Threats, Defenses, Evaluation, and Open Challenges
• Title（参考訳）: エージェントAIセキュリティ - 脅威、防御、評価、オープンな課題
• Abstract要約: 大規模言語モデル(LLM)を利用したエージェントAIシステムは、自動化のための強力で柔軟なプラットフォームとして出現している。 ウェブ、ソフトウェア、物理的な環境にまたがってタスクを自律的に実行する能力は、新しい、そして増幅されたセキュリティリスクを生み出します。 この調査はエージェントAI特有の脅威の分類を概説し、最近のベンチマークと評価手法をレビューし、防衛戦略について議論する。
• 参考スコア（独自算出の注目度）: 14.546961299604554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic AI systems powered by large language models (LLMs) and endowed with planning, tool use, memory, and autonomy, are emerging as powerful, flexible platforms for automation. Their ability to autonomously execute tasks across web, software, and physical environments creates new and amplified security risks, distinct from both traditional AI safety and conventional software security. This survey outlines a taxonomy of threats specific to agentic AI, reviews recent benchmarks and evaluation methodologies, and discusses defense strategies from both technical and governance perspectives. We synthesize current research and highlight open challenges, aiming to support the development of secure-by-design agent systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)を駆使したエージェントAIシステムは、計画、ツール使用、メモリ、自律性を備えた、自動化のための強力で柔軟なプラットフォームとして出現している。 ウェブ、ソフトウェア、物理的な環境にまたがってタスクを自律的に実行する能力は、従来のAIの安全性と従来のソフトウェアセキュリティとは異なる、新しく増幅されたセキュリティリスクを生み出す。 この調査はエージェントAIに特有の脅威の分類を概説し、最近のベンチマークと評価手法をレビューし、技術とガバナンスの両方の観点から防衛戦略について議論する。 我々は、現在研究を合成し、オープンな課題を強調し、セキュア・バイ・デザインエージェントシステムの開発を支援することを目的とする。

関連論文リスト

• Toward Secure AI-Powered Penetration Testing Agents: Security Threats, Guardrails, and Architectural Perspectives [0.0]
  LLMを動力とする自律エージェントは、動的で多段階の攻撃的セキュリティで浸透試験空間を変革している。 しかし、永続的なメモリを持ち、現実世界で行動し、長期にわたる推論を行う能力は、質的に異なるセキュリティ上の懸念を引き起こす。 既存の会話型AIのガードレール機構は、それに応じて自律型AIペンテスティングエージェントを確保するのに十分ではないかもしれない。
  論文  参考訳（メタデータ） (2026-09-15T06:19:50Z)
• Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses [168.50301366360344]
  Embodied AI (Embodied AI) は、知覚、認知、計画、相互作用を、安全クリティカルな環境で機能するエージェントに統合する。 デジタルAIシステムとは異なり、エンボディエージェントは不確実な検知、不完全な知識、動的な人間とロボットの相互作用の下で行動しなければならない。 この調査は、エンボディされたAIにおける安全性研究の包括的なレビューを提供し、完全なエンボディされたパイプラインにわたる攻撃と防御を調査している。
  論文  参考訳（メタデータ） (2026-03-28T13:21:44Z)
• SoK: The Attack Surface of Agentic AI -- Tools, and Autonomy [3.340255811686752]
  最近のAIシステムは、大規模な言語モデルとツール、検索強化生成(RAG)による外部知識を組み合わせている。 このエージェントAIパラダイムは、能力を大幅に拡張すると同時に、攻撃面を大きく拡大する。 我々は、即時レベルの注射、知識ベース中毒、ツール/プラグインエクスプロイト、マルチエージェント緊急脅威にまたがる攻撃の包括的分類を開発する。
  論文  参考訳（メタデータ） (2026-03-24T08:21:51Z)
• The Attack and Defense Landscape of Agentic AI: A Comprehensive Survey [46.278608570660005]
  大規模言語モデルと非AIシステムコンポーネントを組み合わせたAIエージェントは、現実世界のアプリケーションで急速に出現している。 本稿では,AIエージェントのセキュリティに関する最初の体系的かつ包括的な調査について述べる。
  論文  参考訳（メタデータ） (2026-03-11T05:25:55Z)
• AI-Driven Cybersecurity Threats: A Survey of Emerging Risks and Defensive Strategies [0.0]
  本稿では,サイバーセキュリティにおけるAIに関連する新興リスク,攻撃メカニズム,防衛上の問題点を分析することを目的とする。 我々は、AI能力と脅威のモダリティと防御を結びつける比較分類法を導入する。 我々の発見は、説明可能な、学際的で、規制に順応するAI防衛システムに対する緊急性を強調した。
  論文  参考訳（メタデータ） (2026-01-06T05:09:40Z)
• Securing Agentic AI Systems -- A Multilayer Security Framework [0.0]
  エージェント人工知能(AI)システムのセキュア化には、自律性、意思決定、適応行動によってもたらされる複雑なサイバーリスクに対処する必要がある。 既存のAIセキュリティフレームワークは、これらの課題やエージェントAIのユニークなニュアンスに適切に対処していない。 本研究は,エージェントAIシステムに特化して設計されたライフサイクル対応セキュリティフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-12-19T20:22:25Z)
• Cisco Integrated AI Security and Safety Framework Report [3.162988913169078]
  本稿では,CiscoのIntegrated AI Security and Safety Framework(AI Security Framework)について述べる。 このフレームワークは、AIリスクの全範囲を分類、統合、運用するために使用することができる。 モダリティ、エージェント、パイプライン、そしてより広範なエコシステムにわたって、AIセキュリティとAI安全性を統合している。
  論文  参考訳（メタデータ） (2025-12-15T02:12:12Z)
• A Systematic Survey of Model Extraction Attacks and Defenses: State-of-the-Art and Perspectives [65.3369988566853]
  近年の研究では、敵が対象モデルの機能を複製できることが示されている。 モデル抽出攻撃は知的財産権、プライバシー、システムのセキュリティに脅威をもたらす。 本稿では,攻撃機構,防衛手法,計算環境に応じてMEAを分類する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2025-08-20T19:49:59Z)
• Report on NSF Workshop on Science of Safe AI [75.96202715567088]
  機械学習の新たな進歩は、社会問題に対する技術ベースのソリューションを開発する新たな機会につながっている。 AIの約束を果たすためには、正確でパフォーマンスが高く、安全で信頼性の高いAIベースのシステムを開発する方法に取り組む必要がある。 本報告はワークショップの安全性の異なる側面に対処した作業グループにおける議論の結果である。
  論文  参考訳（メタデータ） (2025-06-24T18:55:29Z)
• Offensive Security for AI Systems: Concepts, Practices, and Applications [0.0]
  従来の防御策は、AI駆動技術に直面するユニークで進化する脅威に対して、しばしば不足する。 本稿では、AIライフサイクル全体を通して脆弱性を明らかにするために、積極的な脅威シミュレーションと敵対的なテストを強調する。
  論文  参考訳（メタデータ） (2025-05-09T18:58:56Z)
• Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
  本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。 敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。 GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
  論文  参考訳（メタデータ） (2025-03-30T13:26:00Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
  EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。 高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。 しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。 本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
  論文  参考訳（メタデータ） (2024-08-08T13:19:37Z)
• AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways [10.16690494897609]
  人工知能(AI)エージェント(英: Artificial Intelligence, AI)は、自律的にタスクを実行したり、事前に定義された目的やデータ入力に基づいて決定を行うソフトウェアエンティティである。 この調査は、AIエージェントが直面している新たなセキュリティ脅威を掘り下げ、これらを4つの重要な知識ギャップに分類する。 これらの脅威を体系的にレビューすることにより、この論文はAIエージェントの保護における進歩と既存の制限の両方を強調している。
  論文  参考訳（メタデータ） (2024-06-04T01:22:31Z)
• Asset-centric Threat Modeling for AI-based Systems [7.696807063718328]
  本稿では、AI関連資産、脅威、対策、残留リスクの定量化のためのアプローチおよびツールであるThreatFinderAIを提案する。 このアプローチの実用性を評価するため、参加者はAIベースのヘルスケアプラットフォームのサイバーセキュリティ専門家によって開発された脅威モデルを再現するよう命じられた。 全体として、ソリューションのユーザビリティはよく認識され、脅威の識別とリスクの議論を効果的にサポートする。
  論文  参考訳（メタデータ） (2024-03-11T08:40:01Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• Attacks, Defenses, And Tools: A Framework To Facilitate Robust AI/ML Systems [2.5137859989323528]
  ソフトウェアシステムは、人工知能(AI)と機械学習(ML)コンポーネントにますます依存している。 本稿では,AI対応システムに関連する攻撃や弱点を特徴付ける枠組みを提案する。
  論文  参考訳（メタデータ） (2022-02-18T22:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。