論文の概要: Membership Inference Attack Should Move On to Distributional Statistics for Distilled Generative Models

• arxiv url: http://arxiv.org/abs/2502.02970v1
• Date: Wed, 05 Feb 2025 08:11:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:27:01.849765
• Title: Membership Inference Attack Should Move On to Distributional Statistics for Distilled Generative Models
• Title（参考訳）: 蒸留生成モデルにおける分布統計への会員推定攻撃
• Authors: Muxing Li, Zesheng Ye, Yixuan Li, Andy Song, Guangquan Zhang, Feng Liu,
• Abstract要約: メンバーシップ推論攻撃(MIA)は、特定のデータインスタンスがモデルをトレーニングするために使用されたかどうかを決定する。 本論文は, 既存のMIAのEmpdistilled Generative Modelに対する展望を明らかにする。 学生が生成したデータと潜在的メンバー/非メンバーデータとの間の説明的分布の相違を計測するEmphsetベースのMIAフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.834967019893227
• License:
• Abstract: Membership inference attacks (MIAs) determine whether certain data instances were used to train a model by exploiting the differences in how the model responds to seen versus unseen instances. This capability makes MIAs important in assessing privacy leakage within modern generative AI systems. However, this paper reveals an oversight in existing MIAs against \emph{distilled generative models}: attackers can no longer detect a teacher model's training instances individually when targeting the distilled student model, as the student learns from the teacher-generated data rather than its original member data, preventing direct instance-level memorization. Nevertheless, we find that student-generated samples exhibit a significantly stronger distributional alignment with teacher's member data than non-member data. This leads us to posit that MIAs \emph{on distilled generative models should shift from instance-level to distribution-level statistics}. We thereby introduce a \emph{set-based} MIA framework that measures \emph{relative} distributional discrepancies between student-generated data\emph{sets} and potential member/non-member data\emph{sets}, Empirically, distributional statistics reliably distinguish a teacher's member data from non-member data through the distilled model. Finally, we discuss scenarios in which our setup faces limitations.
• Abstract（参考訳）: メンバーシップ推論攻撃(MIA)は、モデルが見えないインスタンスに対してどのように反応するかの違いを利用して、モデルをトレーニングするために特定のデータインスタンスが使用されたかどうかを決定する。 この能力により、MIAは現代の生成AIシステム内のプライバシー漏洩を評価する上で重要である。 しかし,本論文では,既存のMIAが<emph{distilled generative model}に対して過大評価されていることを明らかにする。学生が本来の会員データではなく,教師生成データから学習することにより,教師モデルのトレーニングインスタンスを個別に検出することができないため,直接のインスタンスレベルの記憶を防止できる。 それにもかかわらず、学生が作成したサンプルは、非会員データよりも、教師の会員データとの分布的整合性が著しく高いことが判明した。 これにより、MIAs \emph{on 蒸留生成モデルは、インスタンスレベルから分布レベル統計学に移行するべきであるという仮説が導かれる。 そこで,本研究では,生徒が生成したデータと潜在的会員/非会員データとの分布不一致を測る<emph{set-based} MIAフレームワークを導入する。 最後に、セットアップが制限に直面しているシナリオについて議論する。

関連論文リスト

• Self-Comparison for Dataset-Level Membership Inference in Large (Vision-)Language Models [73.94175015918059]
  本稿では,自己比較に基づくデータセットレベルのメンバシップ推定手法を提案する。 本手法では, 同一分布における地中構造データや非構造データへのアクセスは不要である。
  論文  参考訳（メタデータ） (2024-10-16T23:05:59Z)
• Blind Baselines Beat Membership Inference Attacks for Foundation Models [24.010279957557252]
  メンバーシップ推論(MI)攻撃は、データサンプルが機械学習モデルのトレーニングに使用されたかどうかを判断しようとする。 未知のWebデータに基づいてトレーニングされた基礎モデルに対して、MI攻撃は著作権のあるトレーニング材料の検出、テストセットの汚染の測定、あるいは監査マシンのアンラーニングに使用できる。 基礎モデルに対するMI攻撃の評価は, 異なる分布からメンバーや非メンバーをサンプリングするため, 欠陥があることが示されている。
  論文  参考訳（メタデータ） (2024-06-23T19:40:11Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
  メンバーシップ推論攻撃は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。 自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
  論文  参考訳（メタデータ） (2023-11-10T13:55:05Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• Investigating Membership Inference Attacks under Data Dependencies [26.70764798408236]
  プライバシーに敏感なデータに基づく機械学習モデルのトレーニングが、プライバシーに深刻な影響を及ぼす可能性のある新たな攻撃の扉を開いた。 そのような攻撃の1つは、メンバーシップ推論攻撃 (MIA) であり、特定のデータポイントがモデルをトレーニングするために使用されたかどうかを公開する。 我々は、訓練セットのすべてのメンバーと非メンバーが独立して同一に分散しているという制限的な仮定の下で、防衛を評価した。
  論文  参考訳（メタデータ） (2020-10-23T00:16:46Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)
• How Does Data Augmentation Affect Privacy in Machine Learning? [94.52721115660626]
  拡張データの情報を活用するために,新たなMI攻撃を提案する。 モデルが拡張データで訓練された場合、最適な会員推定値を確立する。
  論文  参考訳（メタデータ） (2020-07-21T02:21:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。