論文の概要: When Better Features Mean Greater Risks: The Performance-Privacy Trade-Off in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2506.05743v1
• Date: Fri, 06 Jun 2025 05:03:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.321472
• Title: When Better Features Mean Greater Risks: The Performance-Privacy Trade-Off in Contrastive Learning
• Title（参考訳）: より良い機能とリスク: 対照的な学習におけるパフォーマンスと生産性のトレードオフ
• Authors: Ruining Sun, Hongsheng Hu, Wei Luo, Zhaoxi Zhang, Yanjun Zhang, Haizhuan Yuan, Leo Yu Zhang,
• Abstract要約: 本稿では,エンコーダモデルを対象としたMIA攻撃によるプライバシの脅威を系統的に検討する。 本稿では,Lp-Norm Likelihood Attack (LpLA) と呼ばれる特徴ベクトルのpノルムに基づく新しいメンバシップ推論攻撃法を提案する。
• 参考スコア（独自算出の注目度）: 9.660010886245155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid advancement of deep learning technology, pre-trained encoder models have demonstrated exceptional feature extraction capabilities, playing a pivotal role in the research and application of deep learning. However, their widespread use has raised significant concerns about the risk of training data privacy leakage. This paper systematically investigates the privacy threats posed by membership inference attacks (MIAs) targeting encoder models, focusing on contrastive learning frameworks. Through experimental analysis, we reveal the significant impact of model architecture complexity on membership privacy leakage: As more advanced encoder frameworks improve feature-extraction performance, they simultaneously exacerbate privacy-leakage risks. Furthermore, this paper proposes a novel membership inference attack method based on the p-norm of feature vectors, termed the Embedding Lp-Norm Likelihood Attack (LpLA). This method infers membership status, by leveraging the statistical distribution characteristics of the p-norm of feature vectors. Experimental results across multiple datasets and model architectures demonstrate that LpLA outperforms existing methods in attack performance and robustness, particularly under limited attack knowledge and query volumes. This study not only uncovers the potential risks of privacy leakage in contrastive learning frameworks, but also provides a practical basis for privacy protection research in encoder models. We hope that this work will draw greater attention to the privacy risks associated with self-supervised learning models and shed light on the importance of a balance between model utility and training data privacy. Our code is publicly available at: https://github.com/SeroneySun/LpLA_code.
• Abstract（参考訳）: ディープラーニング技術の急速な進歩により、事前訓練されたエンコーダモデルは例外的な特徴抽出能力を示し、ディープラーニングの研究と応用において重要な役割を担っている。 しかし、彼らの普及した利用は、データのプライバシー漏洩を訓練するリスクについて重大な懸念を提起している。 本稿では,エンコーダモデルを対象としたMIA(Message Inference attack)によるプライバシの脅威を,対照的な学習フレームワークに焦点をあてて体系的に検討する。 モデルアーキテクチャの複雑さがメンバシップのプライバシリークに与える影響を実験的に明らかにする。 高度なエンコーダフレームワークによって機能拡張のパフォーマンスが向上するにつれて、同時にプライバシのリスクが悪化する。 さらに,特徴ベクトルのp-ノルムに基づく新しいメンバシップ推論攻撃手法を提案し,これを埋め込みLp-Norm Likelihood Attack (LpLA)と呼ぶ。 この方法は,特徴ベクトルのp-ノルムの統計分布特性を利用して,会員ステータスを推定する。 複数のデータセットとモデルアーキテクチャにまたがる実験結果から、LpLAは攻撃性能とロバスト性において、特に攻撃知識とクエリボリュームの制限下で、既存の手法よりも優れていることが示された。 この研究は、対照的な学習フレームワークにおけるプライバシー漏洩の潜在的なリスクを明らかにするだけでなく、エンコーダモデルにおけるプライバシー保護研究の実践的基盤も提供する。 この作業が、自己教師付き学習モデルに関連するプライバシーリスクにさらに注目され、モデルユーティリティとデータプライバシのトレーニングのバランスの重要性が強調されることを期待しています。 私たちのコードは、https://github.com/SeroneySun/LpLA_code.comで公開されています。

関連論文リスト

• Evaluating Query Efficiency and Accuracy of Transfer Learning-based Model Extraction Attack in Federated Learning [4.275908952997288]
  Federated Learning(FL)は、クライアントデータを保護するために設計された協調学習フレームワークである。 FLのプライバシ保護の目標にもかかわらず、その分散した性質は特に抽出攻撃のモデルに感受性がある。 本稿では,FLをベースとした2種類のモデル抽出攻撃に対する被害者モデルの脆弱性について検討する。
  論文  参考訳（メタデータ） (2025-05-25T22:40:10Z)
• Silver Linings in the Shadows: Harnessing Membership Inference for Machine Unlearning [7.557226714828334]
  ニューラルネットワークから特定のデータサンプルの影響を除去する新しい学習機構を提案する。 この目的を達成するために、我々は、ターゲットモデルの重みやアクティベーション値からプライバシーに敏感な情報を排除するための、新しい損失関数を構築した。 本研究の結果は,未学習の有効性とレイテンシ,および主課題の忠実度の観点から,我々のアプローチの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-07-01T00:20:26Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• How Spurious Features Are Memorized: Precise Analysis for Random and NTK Features [19.261178173399784]
  学習課題とは無関係な突発的な特徴について考察する。 それらがどのように2つの異なる用語で記憶されるのかを正確に評価する。 一般化能力の増大に伴い,突発的特徴の記憶が弱まることを示す。
  論文  参考訳（メタデータ） (2023-05-20T05:27:41Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
  フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。 クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。 悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
  論文  参考訳（メタデータ） (2021-07-07T15:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。