論文の概要: On Membership Inference Attacks in Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2505.11837v1
• Date: Sat, 17 May 2025 04:54:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.884588
• Title: On Membership Inference Attacks in Knowledge Distillation
• Title（参考訳）: 知識蒸留における会員推論攻撃について
• Authors: Ziyao Cui, Minxing Zhang, Jian Pei,
• Abstract要約: 本稿では,知識蒸留が会員推論攻撃(MIA)に対するモデルロバスト性に与える影響について検討する。 教師モデルと生徒モデルが類似したMIA精度を達成する一方で、教師モデルはMIAの主要なターゲットである会員データをよりよく保護することを示した。 そこで本研究では,5つのプライバシー保護蒸留法を提案し,学生モデルの脆弱性をMIAに還元できることを実証した。
• 参考スコア（独自算出の注目度）: 24.10582361065246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Nowadays, Large Language Models (LLMs) are trained on huge datasets, some including sensitive information. This poses a serious privacy concern because privacy attacks such as Membership Inference Attacks (MIAs) may detect this sensitive information. While knowledge distillation compresses LLMs into efficient, smaller student models, its impact on privacy remains underexplored. In this paper, we investigate how knowledge distillation affects model robustness against MIA. We focus on two questions. First, how is private data protected in teacher and student models? Second, how can we strengthen privacy preservation against MIAs in knowledge distillation? Through comprehensive experiments, we show that while teacher and student models achieve similar overall MIA accuracy, teacher models better protect member data, the primary target of MIA, whereas student models better protect non-member data. To address this vulnerability in student models, we propose 5 privacy-preserving distillation methods and demonstrate that they successfully reduce student models' vulnerability to MIA, with ensembling further stabilizing the robustness, offering a reliable approach for distilling more secure and efficient student models. Our implementation source code is available at https://github.com/richardcui18/MIA_in_KD.
• Abstract（参考訳）: 現在、LLM(Large Language Models)は、機密情報を含む巨大なデータセットでトレーニングされている。 これは、メンバーシップ推論攻撃(MIA)のようなプライバシー攻撃がこの機密情報を検知する可能性があるため、深刻なプライバシー上の懸念を引き起こす。 知識蒸留はLLMを効率よくより小さな学生モデルに圧縮するが、プライバシーへの影響は未解明のままである。 本稿では,知識蒸留がMIAに対するモデルロバスト性に与える影響について検討する。 私たちは2つの質問に焦点を合わせます。 まず、教師と生徒のモデルでプライベートデータはどのように保護されているか? 第二に、知識蒸留におけるMIAに対するプライバシー保護の強化について。 総合的な実験により,教師モデルと生徒モデルはMIAの精度が同じであるのに対して,教師モデルはMIAの主目的である会員データをよりよく保護し,学生モデルは非会員データをよりよく保護することを示した。 学生モデルにおけるこの脆弱性に対処するため、5つのプライバシ保存蒸留法を提案し、学生モデルの脆弱性をMIAに還元し、より堅牢性を安定化させ、より安全で効率的な学生モデルを蒸留するための信頼性の高いアプローチを提供する。 実装ソースコードはhttps://github.com/richardcui18/MIA_in_KDで公開しています。

関連論文リスト

• Membership Inference Attacks fueled by Few-Short Learning to detect privacy leakage tackling data integrity [7.8973037023478785]
  ディープラーニングモデルは、トレーニングデータの一部を記憶し、プライバシリークを生成する。 本稿では、深層学習モデルのプライバシー侵害の評価を容易にするFeS-MIAモデルとして考案されたFew-Shot学習に基づくMIAを提案する。 また,Log-MIA尺度と呼ばれる,解釈可能な量的・質的なプライバシ尺度を提案する。
  論文  参考訳（メタデータ） (2025-03-12T13:09:43Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• FedMIA: An Effective Membership Inference Attack Exploiting "All for One" Principle in Federated Learning [17.141646895576145]
  Federated Learning(FL)は、分散データ上で機械学習モデルをトレーニングするための有望なアプローチである。 メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットクライアントのトレーニングセットに属するかどうかを判断することを目的としている。 我々はFedMIAと呼ばれる3段階のメンバーシップ推論攻撃(MIA)手法を導入し、MIAの有効性を高めるため、複数の通信ラウンドにまたがる全クライアントからの更新を平均化する。
  論文  参考訳（メタデータ） (2024-02-09T09:58:35Z)
• Can Sensitive Information Be Deleted From LLMs? Objectives for Defending Against Extraction Attacks [73.53327403684676]
  本稿では,モデル重みから直接センシティブな情報を削除する作業を研究するためのアタック・アンド・ディフェンスフレームワークを提案する。 モデル重み付けへの直接的編集について検討する。この手法は、削除された情報が将来的な攻撃によって抽出されないことを保証すべきである。 我々のホワイトボックスやブラックボックス攻撃は、編集されたモデルの38%から「削除された」情報を復元できるので、ROMEのような最先端のモデル編集方法でさえ、GPT-Jのようなモデルから事実情報を真に消し去るのに苦労している。
  論文  参考訳（メタデータ） (2023-09-29T17:12:43Z)
• Students Parrot Their Teachers: Membership Inference on Model Distillation [54.392069096234074]
  知識蒸留によるプライバシを,教師と学生のトレーニングセットの両方で研究する。 私たちの攻撃は、生徒セットと教師セットが類似している場合、または攻撃者が教師セットを毒できる場合、最強です。
  論文  参考訳（メタデータ） (2023-03-06T19:16:23Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• On the Privacy Effect of Data Enhancement via the Lens of Memorization [20.63044895680223]
  我々は,記憶化という新たな視点からプライバシを調査することを提案する。 記憶のレンズを通して、以前デプロイされたMIAは、より高いプライバシーリスクを持つサンプルを特定する可能性が低いため、誤解を招く結果をもたらすことがわかった。 一般化ギャップとプライバシリークは, これまでの結果に比べて相関が低いことを示す。
  論文  参考訳（メタデータ） (2022-08-17T13:02:17Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Knowledge Cross-Distillation for Membership Privacy [0.9087641068861045]
  会員推測攻撃(MIA)は、機械学習モデルのトレーニングデータにプライバシー上のリスクをもたらす。 公的なデータを必要としない知識蒸留を用いたMIAに対する新たな防御法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T04:16:08Z)
• Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
  プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。 このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。 過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。 本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
  論文  参考訳（メタデータ） (2020-03-01T15:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。