論文の概要: Agent Security is a Systems Problem
- arxiv url: http://arxiv.org/abs/2605.18991v2
- Date: Wed, 20 May 2026 17:25:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 14:55:44.333546
- Title: Agent Security is a Systems Problem
- Title(参考訳): エージェントセキュリティはシステムの問題である
- Authors: Mihai Christodorescu, Earlence Fernandes, Ashish Hooda, Somesh Jha, Johann Rehberger, Kamalika Chaudhuri, Xiaohan Fu, Khawaja Shams, Guy Amir, Jihye Choi, Sarthak Choudhary, Nils Palumbo, Andrey Labunets, Nishit V. Pandya,
- Abstract要約: 我々は、エージェントセキュリティがシステム問題としてアプローチされなければならないという立場を取る。
エージェントシステムを予測可能な保証で設計するための基盤を提供する、一連のコア原則を具体化します。
- 参考スコア(独自算出の注目度): 39.04908287507772
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We take the position that agent security must be approached as a systems problem: the AI model powering the agent must be treated as an untrusted component, and security invariants must be enforced at the system level. Through this lens, efforts to increase model robustness (the dominant viewpoint in the community) are insufficient on their own. Instead, we must complement existing efforts with techniques from the systems security domain. Based on our experience as cybersecurity researchers in operating systems, networks, formal methods, and adversarial machine learning, we articulate a set of core principles, grounded in decades of systems security research, that provide a foundation for designing agentic systems with predictable guarantees. As evidence, we analyze eleven representative real-world attacks on agents and discuss how systems principles, if realized, could have prevented these attacks. We also identify the research challenges that stand in the way of implementing these principles in agents.
- Abstract(参考訳): エージェントを駆動するAIモデルは信頼できないコンポーネントとして扱われる必要があり、セキュリティの不変性はシステムレベルで実施されなければならない。
このレンズを通じて、モデルロバスト性(コミュニティにおける支配的な視点)を高める努力は、それ自体では不十分である。
代わりに、システムセキュリティドメインのテクニックで既存の作業を補完する必要があります。
私たちは、オペレーティングシステム、ネットワーク、形式的手法、および敵対的機械学習におけるサイバーセキュリティ研究者としての経験に基づいて、何十年にもわたってシステムのセキュリティ研究に根ざした一連の基本原則を定式化し、予測可能な保証でエージェントシステムを設計するための基盤を提供します。
証拠として、エージェントに対する11の代表的な実世界の攻撃を分析し、システム原則が、もし実現すれば、これらの攻撃を防げた可能性があるかを議論する。
また、これらの原則をエージェントに実装する方法における研究課題も特定する。
関連論文リスト
- The Attack and Defense Landscape of Agentic AI: A Comprehensive Survey [46.278608570660005]
大規模言語モデルと非AIシステムコンポーネントを組み合わせたAIエージェントは、現実世界のアプリケーションで急速に出現している。
本稿では,AIエージェントのセキュリティに関する最初の体系的かつ包括的な調査について述べる。
論文 参考訳(メタデータ) (2026-03-11T05:25:55Z) - Systems Security Foundations for Agentic Computing [21.600611396864114]
本稿では,AIモデルではなく,システム全体のエンドツーエンドのセキュリティ特性について検討する。
主要なゴールは、AIエージェントの文脈で従来のセキュリティ原則を適用する際に、研究上の課題がどこから生じるかを調べることである。
論文 参考訳(メタデータ) (2025-12-01T05:28:59Z) - OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows [77.95511352806261]
VLM(Vision-Language Models)を利用したコンピュータ利用エージェントは、モバイルプラットフォームのようなデジタル環境を操作する上で、人間のような能力を実証している。
我々は,明示的なシステムレベルの違反を検出するための形式検証器と,文脈的リスクとエージェント行動を評価するコンテキスト判断器を組み合わせた,新しいハイブリッド安全検出フレームワークOS-Sentinelを提案する。
論文 参考訳(メタデータ) (2025-10-28T13:22:39Z) - A Comprehensive Survey of Self-Evolving AI Agents: A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems [53.37728204835912]
既存のAIシステムは、デプロイ後も静的な手作業による構成に依存している。
近年,インタラクションデータと環境フィードバックに基づいてエージェントシステムを自動拡張するエージェント進化手法が研究されている。
この調査は、自己進化型AIエージェントの体系的な理解を研究者や実践者に提供することを目的としている。
論文 参考訳(メタデータ) (2025-08-10T16:07:32Z) - LLM Agents Should Employ Security Principles [60.03651084139836]
本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。
AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
論文 参考訳(メタデータ) (2025-05-29T21:39:08Z) - Safeguarding AI Agents: Developing and Analyzing Safety Architectures [0.0]
本稿では,人間チームと連携するAIシステムにおける安全対策の必要性について論じる。
我々は,AIエージェントシステムにおける安全プロトコルを強化する3つのフレームワークを提案し,評価する。
これらのフレームワークはAIエージェントシステムの安全性とセキュリティを大幅に強化することができると結論付けている。
論文 参考訳(メタデータ) (2024-09-03T10:14:51Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳(メタデータ) (2020-10-19T13:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。