論文の概要: The Sum Leaks More Than Its Parts: Compositional Privacy Risks and Mitigations in Multi-Agent Collaboration

• arxiv url: http://arxiv.org/abs/2509.14284v1
• Date: Tue, 16 Sep 2025 16:57:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:52.916898
• Title: The Sum Leaks More Than Its Parts: Compositional Privacy Risks and Mitigations in Multi-Agent Collaboration
• Title（参考訳）: 構成的プライバシリスクとマルチエージェントコラボレーションの軽減
• Authors: Vaidehi Patil, Elias Stengel-Eskin, Mohit Bansal,
• Abstract要約: 大規模言語モデル(LLM)はマルチエージェントシステムに不可欠なものである。 プライバシーリスクは、暗記、直接推論、シングルターン評価を超えて現れる。 特に、相互作用によって構成される一見無害な反応は、敵が機密情報の回復を累積的に行うことができる。
• 参考スコア（独自算出の注目度）: 72.33801123508145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) become integral to multi-agent systems, new privacy risks emerge that extend beyond memorization, direct inference, or single-turn evaluations. In particular, seemingly innocuous responses, when composed across interactions, can cumulatively enable adversaries to recover sensitive information, a phenomenon we term compositional privacy leakage. We present the first systematic study of such compositional privacy leaks and possible mitigation methods in multi-agent LLM systems. First, we develop a framework that models how auxiliary knowledge and agent interactions jointly amplify privacy risks, even when each response is benign in isolation. Next, to mitigate this, we propose and evaluate two defense strategies: (1) Theory-of-Mind defense (ToM), where defender agents infer a questioner's intent by anticipating how their outputs may be exploited by adversaries, and (2) Collaborative Consensus Defense (CoDef), where responder agents collaborate with peers who vote based on a shared aggregated state to restrict sensitive information spread. Crucially, we balance our evaluation across compositions that expose sensitive information and compositions that yield benign inferences. Our experiments quantify how these defense strategies differ in balancing the privacy-utility trade-off. We find that while chain-of-thought alone offers limited protection to leakage (~39% sensitive blocking rate), our ToM defense substantially improves sensitive query blocking (up to 97%) but can reduce benign task success. CoDef achieves the best balance, yielding the highest Balanced Outcome (79.8%), highlighting the benefit of combining explicit reasoning with defender collaboration. Together, our results expose a new class of risks in collaborative LLM deployments and provide actionable insights for designing safeguards against compositional, context-driven privacy leakage.
• Abstract（参考訳）: 大規模言語モデル(LLM)がマルチエージェントシステムに不可欠なものになると、暗記、直接推論、シングルターン評価を超えて、新たなプライバシリスクが出現する。 特に、相互作用によって構成される一見無害な反応は、敵が機密情報を累積的に回収することができる。 マルチエージェントLLMシステムにおいて,このような構成プライバシリークと緩和手法に関する最初の体系的研究を行う。 まず、補助的な知識とエージェントの相互作用が、個別に応答するたびにプライバシーリスクを増幅する方法をモデル化するフレームワークを開発する。 次に、これを緩和するために、(1)防衛エージェントが相手にどのようにアウトプットを活用できるかを予測して質問者の意図を推測する「人民防衛理論」(ToM)と、(2)協力的合意防衛(CoDef)の2つの防衛戦略を提案し、評価する。 重要なことは、私たちは、機密情報を公開する構成と、良心的な推論をもたらす構成とで評価のバランスをとります。 われわれの実験は、プライバシーとユーティリティのトレードオフのバランスをとる上で、これらの防衛戦略がどう違うのかを定量化している。 チェーン・オブ・シークレットだけではリークに対する保護が制限されている(約39%の機密性の高いブロッキングレート)のに対して、ToMのディフェンスはセンシティブなクエリ・ブロッキング(最大97%)を大幅に改善します。 CoDefは最高のバランスを達成し、最も高いバランスの取れたアウトカム(79.8%)を獲得し、明確な推論とディフェンダーの協力を組み合わせる利点を強調している。 この結果から,共同LLMデプロイメントにおける新たなリスクのクラスを明らかにし,構成的かつコンテキスト駆動型プライバシリークに対する保護設計のための実用的な洞察を提供する。

関連論文リスト

• Illusions of Relevance: Using Content Injection Attacks to Deceive Retrievers, Rerankers, and LLM Judges [52.96987928118327]
  検索,リランカー,大型言語モデル(LLM)の埋め込みモデルは,コンテンツインジェクション攻撃に対して脆弱であることがわかった。 主な脅威は,(1) 意味不明な内容や有害な内容の挿入,(2) 関連性を高めるために,問合せ全体あるいはキークエリ用語の挿入,の2つである。 本研究は, 注射内容の配置や関連物質と非関連物質とのバランスなど, 攻撃の成功に影響を与える要因を系統的に検討した。
  論文  参考訳（メタデータ） (2025-01-30T18:02:15Z)
• Prompt Leakage effect and defense strategies for multi-turn LLM interactions [95.33778028192593]
  システムプロンプトの漏洩は知的財産を侵害し、攻撃者に対する敵の偵察として機能する可能性がある。 我々は, LLM sycophancy 効果を利用して, 平均攻撃成功率 (ASR) を17.7%から86.2%に高めるユニークな脅威モデルを構築した。 7つのブラックボックス防衛戦略の緩和効果と、漏洩防止のためのオープンソースモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-24T23:39:58Z)
• SUB-PLAY: Adversarial Policies against Partially Observed Multi-Agent Reinforcement Learning Systems [40.91476827978885]
  攻撃者は被害者の脆弱性を迅速に悪用し、特定のタスクの失敗につながる敵のポリシーを生成する。 部分観測可能性の影響を軽減するために,複数のサブゲームを構築するという概念を取り入れた新しいブラックボックス攻撃(SUB-PLAY)を提案する。 我々は,敵対的政策によるセキュリティの脅威を軽減するための3つの防衛策を評価する。
  論文  参考訳（メタデータ） (2024-02-06T06:18:16Z)
• GaitGuard: Towards Private Gait in Mixed Reality [3.2392550445029396]
  本稿では,MR環境における歩行プライバシ保護のためのリアルタイムシステムであるGaitGuardを紹介する。 複数の緩和テクニックを比較し、組み合わせることで、プライバシとユーティリティのトレードオフをナビゲートするガイダンスを提供します。
  論文  参考訳（メタデータ） (2023-12-07T17:42:04Z)
• AnonPSI: An Anonymity Assessment Framework for PSI [5.301888664281537]
  Private Set Intersection (PSI) は、2つのパーティが共有データセットの切断された部分上で関数を安全に計算できるプロトコルである。 最近の研究は、Set Membership Inference Attacks(SMIA)の脆弱性を強調している。 本稿では,PSIにおける匿名性の評価について検討する。
  論文  参考訳（メタデータ） (2023-11-29T22:13:53Z)
• Attacking Cooperative Multi-Agent Reinforcement Learning by Adversarial Minority Influence [41.14664289570607]
  Adrial Minority Influence (AMI) は実用的なブラックボックス攻撃であり、被害者のパラメータを知らずに起動できる。 AMIは複雑なマルチエージェント相互作用とエージェントの協調的な目標を考えることでも強い。 我々は、実世界のロボット群に対する最初の攻撃と、シミュレーションされた環境における事実上の愚かなエージェントを、全体として最悪のシナリオへと攻撃することに成功した。
  論文  参考訳（メタデータ） (2023-02-07T08:54:37Z)
• Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond [57.10914865054868]
  垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。 我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
  論文  参考訳（メタデータ） (2022-07-19T05:47:30Z)
• PP-MARL: Efficient Privacy-Preserving Multi-Agent Reinforcement Learning for Cooperative Intelligence in Communications [15.955599283219298]
  多エージェント強化学習(MARL)は,コミュニケーション問題において協調的知能(CI)を実現するための一般的な手法である。 MARLのプライバシー保護を保証することは、情報の共有を通じて相互に学習する異種エージェントが存在するため、難しい課題である。 MARLの効率的なプライバシー保護学習手法であるPP-MARLを提案する。
  論文  参考訳（メタデータ） (2022-04-26T04:08:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。