論文の概要: IDP-Bench: Benchmarking ability of LLMs to protect personal information in interdependent privacy contexts

• arxiv url: http://arxiv.org/abs/2606.09908v1
• Date: Sat, 06 Jun 2026 07:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.03809
• Title: IDP-Bench: Benchmarking ability of LLMs to protect personal information in interdependent privacy contexts
• Title（参考訳）: IDP-Bench: LLMの相互依存型プライバシーコンテキストにおける個人情報保護のためのベンチマーク機能
• Authors: Ayana Hussain, Soumya Sharma, Golnoosh Farnadi, Nicholas Vincent, Héber Hwang Arcolezi, Ulrich Aïvodji,
• Abstract要約: 大規模言語モデル(LLM)は、機密性の高いユーザデータにアクセス可能なパーソナルAIアシスタントとして広くデプロイされている。 それまでの研究は主に個人レベルのリスクに焦点が当てられていたが、これはテキスタイルに依存したプライバシー(IDP:textbfinterdependent privacy)を見落としている。 IDP シナリオのための最初の LLM ベンチマークである textbfIDP-Bench を Contextual Integrity (CI) フレームワークに基づいて紹介する。
• 参考スコア（独自算出の注目度）: 15.026169063578697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are becoming widely deployed as personal AI assistants with access to sensitive user data, making privacy a major challenge for their design and evaluation. Prior work focuses mainly on individual-level risks, overlooking \textbf{interdependent privacy (IDP)}--where one person's data may be revealed by others without their knowledge or consent. We address this gap by introducing \textbf{IDP-Bench}: the first LLM benchmark for IDP scenarios, grounded in the Contextual Integrity (CI) framework. We evaluate eight open-source LLMs on their understanding of IDP scenarios across three levels of IDP reasoning using two LLM judges. Results show strong co-ownership recognition (6/8 models exceed 90\%) but persistent weaknesses in identifying CI parameters (information attribute, primary subject) and IDP-specific parameters such as secondary subjects, where 7/8 models score below 74\%. Models also struggle to judge sharing appropriateness (5/8 scoring below 77\%). While the ability to judge the appropriateness of sharing improves with scale, performance tends to decline in smaller models, and prompt sensitivity remains high on IDP-specific questions--highlighting the need for more targeted study of IDP in LLM privacy research. Data \& code available \href{https://github.com/tisl-lab/Interdependent_Privacy_Bench}{here}.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、機密性の高いユーザデータにアクセス可能なパーソナルAIアシスタントとして広くデプロイされているため、プライバシが設計と評価において大きな課題となっている。 それまでの研究は主に個人レベルのリスクに焦点をあてており、ある人のデータが知識や同意なしに他人によって明らかにされるような、‘textbf{interdependent privacy(IDP)’を見渡している。 IDP シナリオのための最初の LLM ベンチマークである \textbf{IDP-Bench} を Contextual Integrity (CI) フレームワークに基づいて導入することで、このギャップに対処する。 我々は,3段階のIDP推論におけるIDPシナリオの理解に基づく8つのオープンソースLCMを,2つのLCM判事を用いて評価した。 6/8モデルが90%以上である)が,CIパラメータ(情報属性,一次対象)と二次対象などのIDP固有のパラメータを同定する際の弱点は,7/8モデルでは74\%以下であった。 モデルは、適切な共有(5/8スコアが77\%未満)を判断するのにも苦労する。 共有の適切さを判断する能力は規模によって向上するが、より小さなモデルでは性能が低下する傾向にあり、迅速な感度はIDP固有の疑問に大きく影響し、LCMプライバシー研究におけるIDPのより標的となる研究の必要性が浮かび上がっている。 data \& code available \href{https://github.com/tisl-lab/Interdependent_Privacy_Bench}{here}

関連論文リスト

• Seeing Without Exposing: Adaptive Privacy Control for Open-World, Context-Hungry MLLMs [61.80513991207956]
  MLLMにおけるプライバシー問題に対処するために,Anchored Privacy Drifting (APD)を提案する。 APDは、コンテキストキューをソースイメージに固定しながら、意味論的に等価な代替手段に向けて、プライバシに敏感な要素をドリフトする。 本手法は,プライバシ・サニタイゼーションとコンテンツ保持の両面でバランスのとれた改善を実現する。
  論文  参考訳（メタデータ） (2026-06-05T11:41:39Z)
• MultiPriv: Benchmarking Individual-Level Privacy Reasoning in Vision-Language Models [14.942122955210436]
  現代のビジョンランゲージモデル(VLM)は、洗練された推論を示し、プライバシーリスクをエスカレートする。 現在のプライバシーベンチマークは、この新たな脅威に対して構造的に不十分である。 個人レベルのプライバシ推論を体系的に評価するための最初のベンチマークである textbfMultiPriv を提案する。
  論文  参考訳（メタデータ） (2025-11-21T04:33:11Z)
• Auditing M-LLMs for Privacy Risks: A Synthetic Benchmark and Evaluation Framework [7.493288948235459]
  PRISMは、クロスモーダルなプライバシーリスクを評価するために設計された大規模な総合ベンチマークである。 PRISMは、最初のマルチモーダル、多次元、微細な合成データセットである。 PRISM上での6つのM-LLMの推論能力を評価する。
  論文  参考訳（メタデータ） (2025-11-05T07:23:21Z)
• Do LLMs Recognize Your Latent Preferences? A Benchmark for Latent Information Discovery in Personalized Interaction [40.857161437572465]
  パーソナライズされたインタラクションにおける潜伏情報発見を評価するためのベンチマークを導入する。 このベンチマークは、古典的な20の質問ゲーム、パーソナライズされた質問回答、パーソナライズされたテキスト要約という3つの段階的な現実的な設定にまたがっている。 以上の結果から,LLMは対話を通して潜時情報を提示できるが,その成功は文脈によって劇的に変化することが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-20T03:58:49Z)
• MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
  LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。 まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。 次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
  論文  参考訳（メタデータ） (2025-06-25T18:04:25Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。 既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。 本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Noisy Neighbors: Efficient membership inference attacks against LLMs [2.666596421430287]
  本稿では,組込み空間に雑音を付加することにより,対象試料のテクストノイズを発生させる効率的な手法を提案する。 提案手法はシャドウモデルの有効性と密に一致し,実際のプライバシー監査シナリオにおけるユーザビリティを示す。
  論文  参考訳（メタデータ） (2024-06-24T12:02:20Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。