論文の概要: Lessons from Penetration Tests on Large-Scale Agent Systems
- arxiv url: http://arxiv.org/abs/2605.27042v1
- Date: Tue, 26 May 2026 13:58:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:42.203107
- Title: Lessons from Penetration Tests on Large-Scale Agent Systems
- Title（参考訳）: 大規模エージェントシステムにおける浸透試験からの教訓
- Authors: Kevin Eykholt, Dhilung Kirat, Xiaokui Shu, Jiyong Jang, Frederico Araujo, Ian Molloy,
- Abstract要約: 実行可能AIエージェントは、コンピューティングスタックの複数のレイヤと広範囲に相互作用する。
プロプライエタリなエージェントシステムが同様のセキュリティの弱点を示すかどうかは不明だ。
2025年に実施したプロプライエタリエージェント製品に対する2回の浸透試験の結果を報告する。
- 参考スコア（独自算出の注目度）: 7.61892296424389
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As AI systems gain increasing autonomy and execution capability, the number of discovered security vulnerabilities continues to rise. However, many of these vulnerabilities are not fundamentally novel, but instead reflect recurring classes of weaknesses long observed in prior computing systems. Execution-capable AI agents are effectively unbounded, self-modifying programs that interact extensively with multiple layers of the computing stack. This broad interaction surface imposes a significant security burden on developers, who must reason about and secure complex cross-layer behaviors. Prior research has primarily focused on vulnerabilities in open-source agents and agent frameworks. In contrast, it remains unclear whether proprietary agent systems -- developed under stricter coding standards and formal review processes -- exhibit similar security weaknesses. In this paper, we present findings from two penetration tests conducted in 2025 against proprietary agent products and evaluate whether the security posture of AI agents has improved since these assessments.
- Abstract（参考訳）: AIシステムが自律性と実行能力を高めるにつれて、発見されたセキュリティ脆弱性の数が増え続けている。
しかし、これらの脆弱性の多くは基本的に新しいものではなく、以前のコンピュータシステムで長年観察されてきた弱点の繰り返しを反映している。
実行可能AIエージェントは、計算スタックの複数のレイヤと広範囲に相互作用する、事実上無制限の自己修正プログラムである。
この広範なインタラクションサーフェスは、複雑な層間動作を推論し、セキュアにする必要がある開発者に対して、重大なセキュリティ上の負担を課します。
これまでの研究は主に、オープンソースのエージェントとエージェントフレームワークの脆弱性に焦点を当ててきた。
対照的に、プロプライエタリなエージェントシステム -- より厳格なコーディング標準と正式なレビュープロセスの下で開発された -- が、同様のセキュリティの弱点を示すかどうかは不明だ。
本稿では,2025年に行った2回のプロプライエタリエージェント製品に対する浸透試験の結果を報告するとともに,これらの評価からAIエージェントのセキュリティ姿勢が改善したかどうかを評価する。
関連論文リスト
- Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - Your Agent is More Brittle Than You Think: Uncovering Indirect Injection Vulnerabilities in Agentic LLMs [32.38053469964495]
システム間インタラクションを含む拡張されたアクションスペースは、深刻なセキュリティ上の問題を引き起こす。
悪意のある命令をサードパーティのコンテンツ内に隠蔽するIPIは、データ流出などの不正なアクションをトリガーする。
9個のLPMバックボーンにまたがる4つの高度なIPI攻撃ベクトルに対する6つの防御戦略を評価した。
論文 参考訳（メタデータ） (2026-04-04T21:27:04Z) - Systems Security Foundations for Agentic Computing [21.600611396864114]
本稿では,AIモデルではなく,システム全体のエンドツーエンドのセキュリティ特性について検討する。
主要なゴールは、AIエージェントの文脈で従来のセキュリティ原則を適用する際に、研究上の課題がどこから生じるかを調べることである。
論文 参考訳（メタデータ） (2025-12-01T05:28:59Z) - SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。
行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。
また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
論文 参考訳（メタデータ） (2025-07-01T15:10:00Z) - Information Retrieval Induced Safety Degradation in AI Agents [52.15553901577888]
本研究では,検索アクセスの拡大がモデル信頼性,バイアス伝搬,有害コンテンツ生成に与える影響について検討した。
整列 LLM 上に構築された検索可能なエージェントは、検索なしでの無検閲モデルよりも安全でない振る舞いをすることが多い。
これらの発見は、検索可能でますます自律的なAIシステムの公正性と信頼性を確保するための堅牢な緩和戦略の必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-05-20T11:21:40Z) - Why Are Web AI Agents More Vulnerable Than Standalone LLMs? A Security Analysis [47.34614558636679]
本研究では,WebAIエージェントの脆弱性の増加に寄与する要因について検討する。
我々は,WebAIエージェントの脆弱性を増幅する3つの重要な要因,(1)ユーザの目標をシステムプロンプトに埋め込んだこと,(2)マルチステップアクション生成,(3)観察能力の3つを特定した。
論文 参考訳（メタデータ） (2025-02-27T18:56:26Z) - Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
我々は,大規模言語モデル(LLM)の安全性を評価するベンチマークであるAgent-SafetyBenchを紹介する。
Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。
16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
論文 参考訳（メタデータ） (2024-12-19T02:35:15Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。