論文の概要: Agentic AI Security: Threats, Defenses, Evaluation, and Open Challenges
- arxiv url: http://arxiv.org/abs/2510.23883v1
- Date: Mon, 27 Oct 2025 21:48:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-29 15:35:36.589193
- Title: Agentic AI Security: Threats, Defenses, Evaluation, and Open Challenges
- Title（参考訳）: エージェントAIセキュリティ - 脅威、防御、評価、オープンな課題
- Authors: Shrestha Datta, Shahriar Kabir Nahin, Anshuman Chhabra, Prasant Mohapatra,
- Abstract要約: 大規模言語モデル(LLM)を利用したエージェントAIシステムは、自動化のための強力で柔軟なプラットフォームとして出現している。
ウェブ、ソフトウェア、物理的な環境にまたがってタスクを自律的に実行する能力は、新しい、そして増幅されたセキュリティリスクを生み出します。
この調査はエージェントAI特有の脅威の分類を概説し、最近のベンチマークと評価手法をレビューし、防衛戦略について議論する。
- 参考スコア（独自算出の注目度）: 14.546961299604554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic AI systems powered by large language models (LLMs) and endowed with planning, tool use, memory, and autonomy, are emerging as powerful, flexible platforms for automation. Their ability to autonomously execute tasks across web, software, and physical environments creates new and amplified security risks, distinct from both traditional AI safety and conventional software security. This survey outlines a taxonomy of threats specific to agentic AI, reviews recent benchmarks and evaluation methodologies, and discusses defense strategies from both technical and governance perspectives. We synthesize current research and highlight open challenges, aiming to support the development of secure-by-design agent systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)を駆使したエージェントAIシステムは、計画、ツール使用、メモリ、自律性を備えた、自動化のための強力で柔軟なプラットフォームとして出現している。
ウェブ、ソフトウェア、物理的な環境にまたがってタスクを自律的に実行する能力は、従来のAIの安全性と従来のソフトウェアセキュリティとは異なる、新しく増幅されたセキュリティリスクを生み出す。
この調査はエージェントAIに特有の脅威の分類を概説し、最近のベンチマークと評価手法をレビューし、技術とガバナンスの両方の観点から防衛戦略について議論する。
我々は、現在研究を合成し、オープンな課題を強調し、セキュア・バイ・デザインエージェントシステムの開発を支援することを目的とする。
関連論文リスト
- AI-Driven Cybersecurity Threats: A Survey of Emerging Risks and Defensive Strategies [0.0]
本稿では,サイバーセキュリティにおけるAIに関連する新興リスク,攻撃メカニズム,防衛上の問題点を分析することを目的とする。
我々は、AI能力と脅威のモダリティと防御を結びつける比較分類法を導入する。
我々の発見は、説明可能な、学際的で、規制に順応するAI防衛システムに対する緊急性を強調した。
論文 参考訳（メタデータ） (2026-01-06T05:09:40Z) - Securing Agentic AI Systems -- A Multilayer Security Framework [0.0]
エージェント人工知能(AI)システムのセキュア化には、自律性、意思決定、適応行動によってもたらされる複雑なサイバーリスクに対処する必要がある。
既存のAIセキュリティフレームワークは、これらの課題やエージェントAIのユニークなニュアンスに適切に対処していない。
本研究は,エージェントAIシステムに特化して設計されたライフサイクル対応セキュリティフレームワークを開発する。
論文 参考訳（メタデータ） (2025-12-19T20:22:25Z) - Cisco Integrated AI Security and Safety Framework Report [3.162988913169078]
本稿では,CiscoのIntegrated AI Security and Safety Framework(AI Security Framework)について述べる。
このフレームワークは、AIリスクの全範囲を分類、統合、運用するために使用することができる。
モダリティ、エージェント、パイプライン、そしてより広範なエコシステムにわたって、AIセキュリティとAI安全性を統合している。
論文 参考訳（メタデータ） (2025-12-15T02:12:12Z) - A Systematic Survey of Model Extraction Attacks and Defenses: State-of-the-Art and Perspectives [65.3369988566853]
近年の研究では、敵が対象モデルの機能を複製できることが示されている。
モデル抽出攻撃は知的財産権、プライバシー、システムのセキュリティに脅威をもたらす。
本稿では,攻撃機構,防衛手法,計算環境に応じてMEAを分類する新しい分類法を提案する。
論文 参考訳（メタデータ） (2025-08-20T19:49:59Z) - Report on NSF Workshop on Science of Safe AI [75.96202715567088]
機械学習の新たな進歩は、社会問題に対する技術ベースのソリューションを開発する新たな機会につながっている。
AIの約束を果たすためには、正確でパフォーマンスが高く、安全で信頼性の高いAIベースのシステムを開発する方法に取り組む必要がある。
本報告はワークショップの安全性の異なる側面に対処した作業グループにおける議論の結果である。
論文 参考訳（メタデータ） (2025-06-24T18:55:29Z) - Offensive Security for AI Systems: Concepts, Practices, and Applications [0.0]
従来の防御策は、AI駆動技術に直面するユニークで進化する脅威に対して、しばしば不足する。
本稿では、AIライフサイクル全体を通して脆弱性を明らかにするために、積極的な脅威シミュレーションと敵対的なテストを強調する。
論文 参考訳（メタデータ） (2025-05-09T18:58:56Z) - Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。
敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。
GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
論文 参考訳（メタデータ） (2025-03-30T13:26:00Z) - Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。
新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。
レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。
この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
論文 参考訳（メタデータ） (2024-09-23T10:18:10Z) - EARBench: Towards Evaluating Physical Risk Awareness for Task Planning of Foundation Model-based Embodied AI Agents [53.717918131568936]
EAI(Embodied AI)は、高度なAIモデルを現実世界のインタラクションのための物理的なエンティティに統合する。
高レベルのタスク計画のためのEAIエージェントの"脳"としてのファンデーションモデルは、有望な結果を示している。
しかし、これらのエージェントの物理的環境への展開は、重大な安全性上の課題を呈している。
本研究では,EAIシナリオにおける身体的リスクの自動評価のための新しいフレームワークEARBenchを紹介する。
論文 参考訳（メタデータ） (2024-08-08T13:19:37Z) - AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways [10.16690494897609]
人工知能(AI)エージェント(英: Artificial Intelligence, AI)は、自律的にタスクを実行したり、事前に定義された目的やデータ入力に基づいて決定を行うソフトウェアエンティティである。
この調査は、AIエージェントが直面している新たなセキュリティ脅威を掘り下げ、これらを4つの重要な知識ギャップに分類する。
これらの脅威を体系的にレビューすることにより、この論文はAIエージェントの保護における進歩と既存の制限の両方を強調している。
論文 参考訳（メタデータ） (2024-06-04T01:22:31Z) - Asset-centric Threat Modeling for AI-based Systems [7.696807063718328]
本稿では、AI関連資産、脅威、対策、残留リスクの定量化のためのアプローチおよびツールであるThreatFinderAIを提案する。
このアプローチの実用性を評価するため、参加者はAIベースのヘルスケアプラットフォームのサイバーセキュリティ専門家によって開発された脅威モデルを再現するよう命じられた。
全体として、ソリューションのユーザビリティはよく認識され、脅威の識別とリスクの議論を効果的にサポートする。
論文 参考訳（メタデータ） (2024-03-11T08:40:01Z) - Managing extreme AI risks amid rapid progress [171.05448842016125]
我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。
このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。
現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
論文 参考訳（メタデータ） (2023-10-26T17:59:06Z) - Attacks, Defenses, And Tools: A Framework To Facilitate Robust AI/ML
Systems [2.5137859989323528]
ソフトウェアシステムは、人工知能(AI)と機械学習(ML)コンポーネントにますます依存している。
本稿では,AI対応システムに関連する攻撃や弱点を特徴付ける枠組みを提案する。
論文 参考訳（メタデータ） (2022-02-18T22:54:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。