論文の概要: AgentPrivArena: Evaluating and Auditing Real-world AI Agent Privacy
- arxiv url: http://arxiv.org/abs/2610.06454v1
- Date: Mon, 05 Oct 2026 14:55:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 08:11:03.507768
- Title: AgentPrivArena: Evaluating and Auditing Real-world AI Agent Privacy
- Title(参考訳): AgentPrivArena: 現実のAIエージェントのプライバシの評価と監査
- Abstract要約: 本稿では,現実的なLLMエージェントのプライバシーリスクを評価するためのフレームワークであるAgenPrivArenaを紹介する。
最終応答リーク以上の不必要な情報アクセスを定量化するトラジェクトリレベルのプライバシメトリクスを提案する。
本稿では,エージェント実行中のプライバシ違反を監視するランタイム監査手法であるAgenPrivAuditを紹介する。
- 参考スコア(独自算出の注目度): 1.919885803437747
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of LLM agents has enabled systems to autonomously perform complex tasks through external tools, but their growing access to personal data introduces significant privacy risks. Existing benchmarks primarily evaluate LLM agent privacy through simulated trajectories and outcome-based metrics, limiting their ability to capture privacy risks arising during multi-step agent execution. In this work, we introduce AgentPrivArena, a framework for evaluating privacy risks in realistic LLM agent workflows. AgentPrivArena integrates authentic MCP tools and self-hosted services within a reproducible execution environment. We further propose trajectory-level privacy metrics that quantify unnecessary information access beyond final response leakage. Building on this framework, we introduce AgentPrivAudit, a runtime auditing approach for monitoring privacy violations during agent execution. Extensive experiments on state-of-the-art LLM agents reveal substantial privacy risks overlooked by existing evaluation paradigms, highlighting the importance of trajectory-level auditing for trustworthy agent deployment.
- Abstract(参考訳): LLMエージェントの急速な進歩により、システムは外部ツールを通じて複雑なタスクを自律的に実行できるようになった。
既存のベンチマークでは、シミュレーションされた軌跡と結果に基づくメトリクスを通じて、LLMエージェントのプライバシを主に評価し、マルチステップエージェントの実行時に発生するプライバシリスクをキャプチャする能力を制限している。
本稿では,現実的なLLMエージェントワークフローにおけるプライバシリスクを評価するフレームワークであるAgentPrivArenaを紹介する。
AgentPrivArenaは、再現可能な実行環境内に、本物のMPPツールとセルフホストサービスを統合する。
さらに,最終応答リーク以上の不必要な情報アクセスを定量化するトラジェクトリレベルのプライバシ指標を提案する。
本稿では,エージェント実行中のプライバシ違反を監視するランタイム監査アプローチであるAgenPrivAuditを紹介する。
最先端のLLMエージェントに関する大規模な実験は、既存の評価パラダイムによって見落とされ、信頼できるエージェントデプロイメントのための軌道レベルの監査の重要性を強調している。
関連論文リスト
- Information-Theoretic Privacy Control for Sequential Multi-Agent LLM Systems [5.100622189286672]
逐次マルチエージェント大規模言語モデル (LLM) システムにおいて, 偶発的プライバシー漏洩について検討する。
そこで本研究では,エージェント出力とエージェントローカル依存変数間の情報フローを直接制約する,プライバシ規則化されたトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-13T18:23:03Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳(メタデータ) (2026-01-12T21:31:38Z) - AudAgent: Automated Auditing of Privacy Policy Compliance in AI Agents [3.802907024025868]
AudAgentは、AIエージェントのデータプラクティスをリアルタイムで監視するビジュアルフレームワークである。
AudAgentは、リアルタイムに潜在的なプライバシーポリシー違反を効果的に識別する。
論文 参考訳(メタデータ) (2025-11-03T17:32:08Z) - Privacy in Action: Towards Realistic Privacy Mitigation and Evaluation for LLM-Powered Agents [40.39717403627143]
モデルに依存しないコンテキスト整合性に基づく緩和アプローチであるPrivacyCheckerを提案する。
静的ベンチマークを動的MPPとA2A環境に変換するPrivacyLens-Liveも導入しています。
私たちのデータとコードはhttps://aka.ms/privacy_in_action.orgで公開されます。
論文 参考訳(メタデータ) (2025-09-22T08:19:06Z) - MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。
まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。
次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
論文 参考訳(メタデータ) (2025-06-25T18:04:25Z) - Beyond Jailbreaking: Auditing Contextual Privacy in LLM Agents [43.303548143175256]
本研究では,リスクに対するエージェントの感受性を定量的に評価する,会話プライバシのための監査フレームワークを提案する。
CMPL(Conversational Manipulation for Privacy Leakage)フレームワークは、厳格なプライバシー命令を強制するエージェントをストレステストするために設計されている。
論文 参考訳(メタデータ) (2025-06-11T20:47:37Z) - LLM Agents Should Employ Security Principles [60.03651084139836]
本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。
AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
論文 参考訳(メタデータ) (2025-05-29T21:39:08Z) - AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。
我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
論文 参考訳(メタデータ) (2025-03-12T19:30:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。