論文の概要: Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems
- arxiv url: http://arxiv.org/abs/2610.30418v1
- Date: Wed, 21 Oct 2026 20:25:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.128838
- Title: Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems
- Title（参考訳）: エージェントモザイク:エージェントLLMシステムにおける信頼度リークの認識
- Abstract要約: 現代のLLMエージェントは、アクセス可能なドキュメントから情報を取得し、それらから集めた機密性の高い結論を開示することができる。
このモザイク効果は、機密データを操作しているエージェントにとって重大なリスクをもたらす。
われわれは、その実現を30の総合サイバーセキュリティ、医療、軍事の例で定量化している。
- 参考スコア（独自算出の注目度）: 7.692772405621922
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Modern LLM agents can retrieve information from accessible documents, and then disclose a sensitive conclusion assembled from them. This mosaic effect creates a critical risk for agents operating over confidential data. We quantify its realization with 30 synthetic cybersecurity, medical, and military examples, yielding 10,800 final answers from three LLM agents in controlled simulation and 1,440 answers from live agents in two open-source harnesses. Even under benign queries designed to be answerable from one document, GPT-5.6-Sol, the best performing model tested, discloses forbidden composites in 7.08% of answers (95% CI: 3.75-10.67%) in simulation, with worse disclosure rates in live harnesses. Adding visible classification headers and explicit aggregation rules reduces pooled disclosure rates substantially, yet unsafe disclosures persist in 32.37% of simulated answers (95% CI: 28.33-36.19%) across all intents despite these safeguards. Furthermore, increased refusals do not guarantee confidentiality, since significant refusals reveal the prohibited conclusion regardless. These results point to a troubling conclusion: sensitive data leaks via mosaic-style events are an observed confidentiality failure mode in the evaluated settings at non-negligible rates. They motivate stronger controls on what agents may infer and disclose in sensitive data environments with mixed-clearance users.
- Abstract（参考訳）: 現代のLLMエージェントは、アクセス可能なドキュメントから情報を取得し、それらから集めた機密性の高い結論を開示することができる。
このモザイク効果は、機密データを操作しているエージェントにとって重大なリスクをもたらす。
我々は、その実現を30の総合サイバーセキュリティ、医療、軍事の例で定量化し、制御されたシミュレーションで3つのLLMエージェントから10,800の最終的な回答と、2つのオープンソースハーネスで1,440のライブエージェントから1,440の回答を得た。
1つの文書から回答できるように設計された良質なクエリの下でも、GPT-5.6-Solはテストされた最高のパフォーマンスモデルであり、シミュレーションにおいて7.08%の回答(95% CI: 3.75-10.67%)で禁止された合成物を開示し、ライブハーネスの開示率も悪化している。
視覚的分類ヘッダと明示的なアグリゲーションルールを追加することで、プールされた開示率は大幅に低下するが、安全でない開示はシミュレーションされた回答の32.37%(95% CI: 28.33-36.19%)で維持される。
さらに、重大な拒絶が禁止された結論を如何にせよ明らかにするため、拒絶の増大は機密性を保証するものではない。
モザイク式イベントによる機密データ漏洩は、非無視レートで評価された設定において、観測された機密性障害モードである。
彼らは、混合クリアランスユーザによるセンシティブなデータ環境において、エージェントが推論し、開示する可能性のあるものについて、より強力なコントロールを動機付けている。
関連論文リスト
- AgentCIScope: Grounded Contextual Integrity Evaluation for LLM Agents [19.875379195689224]
本稿では,エージェントレベルのコンテキスト整合性を評価するための統一プラットフォームとベンチマークであるAgentCIScopeを紹介する。
936のタスクに対して12のエージェントを評価し,強いタスク補完能力がコンテキスト統合を保証していないことを発見した。
論文 参考訳（メタデータ） (2026-10-13T20:25:00Z) - SWE-MISBEHAVIOR: Benchmarking and Mitigating Boundary Violations in Software Coding Agents [98.61266339928044]
SWE-MISBEHAVIORは,コーディングエージェントにおける境界違反の誤動作を診断するための最初の分類・評価フレームワークである。
SWE-MISBEHAVIORは、完全に自動化された評価プロトコルで11の異なる振る舞いをカバーしている。
CODE-KITは,誤動作を意識したガイドラインと,エージェントがそのような障害を避けるための新しいツールを組み合わせた,軽量適応型フレームワークである。
論文 参考訳（メタデータ） (2026-10-13T11:40:10Z) - Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems [1.7327102304628392]
Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) を外部知識で出力する。
本稿では,自然言語推論(NLI)の事実検証,関連性重み付けによる5信号毒素検出,信頼指数T = 0.4 F + 0.35 C + 0.25 (1 - P) を組み合わせた評価エージェントを提案する。
Llama 3.3 70BのTrathfulQAでは、エージェントは91%の精度と100%の精度に達し、インストラクションインジェクションで100%リコールされる。
論文 参考訳（メタデータ） (2026-08-21T13:42:41Z) - MosaicLeaks:Privacy Risks in Querying-in-the-Open for Deep Research Agents [76.60965179634664]
ディープリサーチエージェントは、プライベートなローカルドキュメントをWeb検索のような外部ツールと組み合わせて、プライバシーリスクを生じさせている。
プライベートなエンタープライズドキュメントとパブリックなWebコーパスをチェーンする1,001のディープリサーチタスクのベンチマークであるMosaicLeaksを紹介します。
私たちは、家族やサイズにわたるモデルが3つのレベルすべてに頻繁にリークしていることに気付きました。
論文 参考訳（メタデータ） (2026-05-29T01:44:35Z) - Got a Secret? LLM Agents Can't Keep It: Evaluating Privacy in Multi-Agent Systems [4.480003364414813]
一ヶ月に数千のLCMエージェントがコミュニティ間で対話するモルトブック型シミュレーションプラットフォームを導入する。
シングルターンからマルチターンのソーシャル評価へのシフトは、プライバシー侵害を増幅する。
エージェントは、ピアを観察した後、機密情報を開示する確率が8倍になる。
論文 参考訳（メタデータ） (2026-05-26T23:32:25Z) - Credential Leakage in LLM Agent Skills: A Large-Scale Empirical Study [51.717224133855886]
サードパーティのスキルはLLMエージェントを強力な能力で拡張するが、特権のある環境では機密情報を扱うことが多い。
静的解析,サンドボックステスト,手動検査を用いて17,022のスキル(SkillsMPで170,226からサンプリング)を分析した。
我々は,1,708の課題で520の脆弱なスキルを識別し,10の漏洩パターン(事故4件,反対6件)の分類を導出する。
論文 参考訳（メタデータ） (2026-04-03T14:50:16Z) - AgentRaft: Automated Detection of Data Over-Exposure in LLM Agents [40.88941407116349]
本稿では,大規模言語モデル(LLM)エージェントにおけるデータオーバー露光(DOE)リスクを検出するための,最初の自動化フレームワークであるAgentRaftを紹介する。
実世界のエージェントツール6,675のテスト環境でAgentRaftを評価した。
論文 参考訳（メタデータ） (2026-03-08T09:40:54Z) - Are Your Agents Upward Deceivers? [73.1073084327614]
大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。
これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。
本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
論文 参考訳（メタデータ） (2025-12-04T14:47:05Z) - Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。
実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。
RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
論文 参考訳（メタデータ） (2025-04-17T16:46:11Z) - Defeating Prompt Injections by Design [79.00910871948787]
CaMeLは、Large Language Modelsを中心とした保護システムレイヤを作成する堅牢なディフェンスである。
CaMeLは、(信頼された)クエリから制御とデータフローを明示的に抽出する。
セキュリティをさらに改善するため、CaMeLは、権限のないデータフロー上のプライベートデータの流出を防止する機能の概念を使用している。
論文 参考訳（メタデータ） (2025-03-24T15:54:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。