論文の概要: An Evaluation of Data Leakage Risks in Tool-Using LLM Agents in Realistic Scenarios
- arxiv url: http://arxiv.org/abs/2606.17114v1
- Date: Mon, 15 Jun 2026 09:16:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.067262
- Title: An Evaluation of Data Leakage Risks in Tool-Using LLM Agents in Realistic Scenarios
- Title（参考訳）: リアルシナリオにおけるツール利用 LLM エージェントのデータ漏洩リスクの評価
- Authors: Hankyul Baek, Jaewon Noh, Sang Seo, Yongsu Kim, Gabriel Waikin Loh Matienzo, Young Il Kim, Ee Wei Seah, Akriti Vij,
- Abstract要約: シンガポールのAI安全研究所と韓国のAI安全研究所の共同評価を報告する。
この評価は、データ認識の欠如、オーディエンス認知、ポリシーコンプライアンス、データ最小化、アクセス境界認識の5つのリスクタイプをカバーする。
以上の結果から, 操作データ漏洩は, 対外濾過とは異なる一階のエージェントセーフティの懸念であることが示唆された。
- 参考スコア（独自算出の注目度）: 3.9838595042419076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI agents are increasingly being adopted in enterprise and personal settings with access to emails, databases, documents, and other tools where they can read, update, and disseminate sensitive information. Much of prior research on data leakage risks in agents has focused on adversarial data exfiltration through prompt injections and jailbreaks. However, sensitive information may also be exposed during non-adversarial use, creating leakage risks even when users issue benign requests. We report a joint evaluation by the Singapore AI Safety Institute and the Korea AI Safety Institute examining agent data leakage in 12 realistic, non-adversarial tasks spanning customer support, DevOps, web automation, and enterprise and personal productivity. The evaluation covers five risk types: lack of data awareness, audience awareness, policy compliance, data minimization, and access-boundary awareness. Both institutes tested a common set of scenarios mirroring real-world deployments using independent testing environments and task-specific LLM-judge rubrics. Across the three tested agents, none achieved fully correct and fully safe execution across all scenarios. Successful task completion often coincided with data-handling failures such as accessing unnecessary information or disclosing information to inappropriate recipients, indicating that capability and data-handling safety should be evaluated separately. Qualitative review also revealed claim-action mismatches, simulation-aware behavior, user-simulator role reversal, and interpretation gaps in automated judging. Overall, the results indicate that operational data leakage is a first-order agent-safety concern distinct from adversarial exfiltration and provide a methodology for future evaluations of agent data-handling safety.
- Abstract（参考訳）: AIエージェントは、機密情報を読んだり、更新したり、広めたりできるメール、データベース、ドキュメント、その他のツールにアクセスして、企業や個人の設定でますます採用されている。
エージェントにおけるデータ漏洩リスクに関する以前の研究の多くは、インジェクションやジェイルブレイクによる敵対的なデータ流出に焦点を当てていた。
しかし、センシティブな情報は非攻撃的使用中にも暴露され、ユーザが良心的な要求を発行しても漏洩リスクが生じる可能性がある。
シンガポールAI安全研究所と韓国AI安全研究所が共同で、顧客サポート、DevOps、Webオートメーション、企業と個人の生産性にまたがる12の現実的で非敵対的なタスクにおいて、エージェントデータ漏洩を調査した。
この評価は、データ認識の欠如、オーディエンス認知、ポリシーコンプライアンス、データ最小化、アクセス境界認識の5つのリスクタイプをカバーする。
どちらの機関も、独立したテスト環境とタスク固有のLCM-judgeルーブリックを使用して、現実世界のデプロイを反映する一般的なシナリオをテストした。
3つのテストされたエージェント全体では、すべてのシナリオで完全に正しく、完全に安全な実行が達成されなかった。
タスク完了の成功はしばしば、不必要な情報へのアクセスや不適切な受信者への情報開示といったデータ処理の失敗と一致し、能力とデータ処理の安全性を別々に評価すべきであることを示す。
質的なレビューでは、クレーム・アクションのミスマッチ、シミュレーション・アウェアの振る舞い、ユーザー・シミュレータの役割の反転、自動判定における解釈ギャップが明らかになった。
以上の結果から, 操作データ漏洩は, 敵の流出とは別の一階のエージェントセーフティの懸念であり, エージェントデータ処理安全性の今後の評価方法が示唆された。
関連論文リスト
- Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows [32.40442323501255]
エージェントパイプラインのすべての境界は、潜在的なプライバシー侵害の場所であり、独立して評価されなければならない、と我々は主張する。
本稿では,エージェント実行を情報フローのシーケンスに分解するフレームワークであるPrivacy Flow Graphを紹介する。
AgentSCOPEは,8つの規制領域にまたがる62のマルチツールシナリオのベンチマークであり,パイプラインの各段階で基礎的真理を示す。
論文 参考訳（メタデータ） (2026-03-05T07:45:31Z) - AI Agentic Vulnerability Injection And Transformation with Optimized Reasoning [2.918225266151982]
AVIATORはAIによる最初の脆弱性注入ワークフローである。
高忠実で多様な大規模な脆弱性データセット生成のために、現実的でカテゴリ固有の脆弱性を自動的に注入する。
セマンティック分析、LoRAベースのファインチューニングとRetrieval-Augmented Generationで強化されたインジェクション合成、静的解析とLLMベースの識別器によるインジェクション後の検証を組み合わせる。
論文 参考訳（メタデータ） (2025-08-28T14:59:39Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - Beyond Jailbreaking: Auditing Contextual Privacy in LLM Agents [43.303548143175256]
本研究では,リスクに対するエージェントの感受性を定量的に評価する,会話プライバシのための監査フレームワークを提案する。
CMPL(Conversational Manipulation for Privacy Leakage)フレームワークは、厳格なプライバシー命令を強制するエージェントをストレステストするために設計されている。
論文 参考訳（メタデータ） (2025-06-11T20:47:37Z) - SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator [77.86600052899156]
LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。
完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。
AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
論文 参考訳（メタデータ） (2025-05-23T10:56:06Z) - Information Retrieval Induced Safety Degradation in AI Agents [52.15553901577888]
本研究では,検索アクセスの拡大がモデル信頼性,バイアス伝搬,有害コンテンツ生成に与える影響について検討した。
整列 LLM 上に構築された検索可能なエージェントは、検索なしでの無検閲モデルよりも安全でない振る舞いをすることが多い。
これらの発見は、検索可能でますます自律的なAIシステムの公正性と信頼性を確保するための堅牢な緩和戦略の必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-05-20T11:21:40Z) - AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。
我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
論文 参考訳（メタデータ） (2025-03-12T19:30:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。