論文の概要: Practical Membership Inference Attacks Against Large-Scale Multi-Modal Models: A Pilot Study

• arxiv url: http://arxiv.org/abs/2310.00108v1
• Date: Fri, 29 Sep 2023 19:38:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 06:42:57.954477
• Title: Practical Membership Inference Attacks Against Large-Scale Multi-Modal Models: A Pilot Study
• Title（参考訳）: 大規模マルチモーダルモデルに対する実践的メンバーシップ推論攻撃:パイロット研究
• Authors: Myeongseob Ko, Ming Jin, Chenguang Wang, and Ruoxi Jia
• Abstract要約: メンバーシップ推論攻撃(MIA)は、機械学習モデルのトレーニングにデータポイントを使用したかどうかを推測することを目的としている。 これらの攻撃は、潜在的なプライバシー上の脆弱性を特定し、個人データの不正使用を検出するために使用できる。 本稿では,大規模マルチモーダルモデルに対する実用的なMIAの開発に向けて第一歩を踏み出す。
• 参考スコア（独自算出の注目度）: 17.421886085918608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Membership inference attacks (MIAs) aim to infer whether a data point has been used to train a machine learning model. These attacks can be employed to identify potential privacy vulnerabilities and detect unauthorized use of personal data. While MIAs have been traditionally studied for simple classification models, recent advancements in multi-modal pre-training, such as CLIP, have demonstrated remarkable zero-shot performance across a range of computer vision tasks. However, the sheer scale of data and models presents significant computational challenges for performing the attacks. This paper takes a first step towards developing practical MIAs against large-scale multi-modal models. We introduce a simple baseline strategy by thresholding the cosine similarity between text and image features of a target point and propose further enhancing the baseline by aggregating cosine similarity across transformations of the target. We also present a new weakly supervised attack method that leverages ground-truth non-members (e.g., obtained by using the publication date of a target model and the timestamps of the open data) to further enhance the attack. Our evaluation shows that CLIP models are susceptible to our attack strategies, with our simple baseline achieving over $75\%$ membership identification accuracy. Furthermore, our enhanced attacks outperform the baseline across multiple models and datasets, with the weakly supervised attack demonstrating an average-case performance improvement of $17\%$ and being at least $7$X more effective at low false-positive rates. These findings highlight the importance of protecting the privacy of multi-modal foundational models, which were previously assumed to be less susceptible to MIAs due to less overfitting. Our code is available at https://github.com/ruoxi-jia-group/CLIP-MIA.
• Abstract（参考訳）: メンバーシップ推論攻撃(MIA)は、機械学習モデルのトレーニングにデータポイントを使用したかどうかを推測することを目的としている。 これらの攻撃は、潜在的なプライバシー上の脆弱性を特定し、個人データの不正使用を検出するために使用できる。 MIAは伝統的に単純な分類モデルとして研究されてきたが、CLIPのようなマルチモーダル事前訓練の進歩は、コンピュータビジョンタスクの範囲で顕著なゼロショット性能を示している。 しかし、データとモデルの膨大なスケールは、攻撃を行うための重要な計算上の課題を示している。 本稿では,大規模マルチモーダルモデルに対するMIAの実現に向けて第一歩を踏み出す。 目的点のテキストと画像の特徴のコサイン類似性をしきい値にすることで、簡単なベースライン戦略を導入し、目的点の変換間でコサイン類似性を集約することで、ベースラインをさらに強化することを提案する。 また, 対象モデルの公開日とオープンデータのタイムスタンプを用いて得られる, 基底的非メンバーを活用し, 攻撃をさらに強化する, 新たな弱い教師付き攻撃手法を提案する。 我々の評価では、クリップモデルは攻撃戦略に影響を受けやすく、我々の単純なベースラインはメンバーの識別精度を75〜%以上達成している。 さらに、強化された攻撃は、複数のモデルやデータセットでベースラインを上回り、教師の弱い攻撃は、平均的な17セント%のパフォーマンス改善を示し、低い偽陽性率で少なくとも7ドル以上有効であることを示す。 これらの知見は, 過度に適合しないためMIAの影響を受けにくいと考えられたマルチモーダル基礎モデルのプライバシ保護の重要性を強調した。 私たちのコードはhttps://github.com/ruoxi-jia-group/CLIP-MIAで公開されています。

関連論文リスト

• Order of Magnitude Speedups for LLM Membership Inference [5.124111136127848]
  大規模言語モデル(LLM)は、コンピューティングを広く革新させるという約束を持っているが、その複雑さと広範なトレーニングデータもまた、プライバシの脆弱性を露呈している。 LLMに関連する最も単純なプライバシーリスクの1つは、メンバーシップ推論攻撃(MIA)に対する感受性である。 文書がモデルのトレーニングセットに属しているか否かを判断するために,小さな量子レグレッションモデルのアンサンブルを利用する低コストMIAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T16:18:14Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• OMG-ATTACK: Self-Supervised On-Manifold Generation of Transferable Evasion Attacks [17.584752814352502]
  Evasion Attacks (EA) は、入力データを歪ませることで、トレーニングされたニューラルネットワークの堅牢性をテストするために使用される。 本稿では, 自己教師型, 計算的経済的な手法を用いて, 対逆例を生成する手法を提案する。 我々の実験は、この手法が様々なモデル、目に見えないデータカテゴリ、さらには防御されたモデルで有効であることを一貫して実証している。
  論文  参考訳（メタデータ） (2023-10-05T17:34:47Z)
• Boosting Model Inversion Attacks with Adversarial Examples [26.904051413441316]
  ブラックボックス設定において、より高い攻撃精度を達成できる学習ベースモデル反転攻撃のための新しい訓練パラダイムを提案する。 まず,攻撃モデルの学習過程を,意味的損失関数を追加して規則化する。 第2に、学習データに逆例を注入し、クラス関連部の多様性を高める。
  論文  参考訳（メタデータ） (2023-06-24T13:40:58Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Plug & Play Attacks: Towards Robust and Flexible Model Inversion Attacks [13.374754708543449]
  モデルアタック(MIA)は、モデルが学習した知識を活用して、対象のインバージョントレーニングデータからクラスワイズ特性を反映した合成画像を作成することを目的としている。 従来の研究では、特定のターゲットモデルに合わせた画像の先行画像として、GAN(Generative Adversarial Network)を用いたジェネレーティブMIAを開発した。 ターゲットモデルと画像間の依存性を緩和し、訓練された単一のGANを使用することで、幅広いターゲットを攻撃できるプラグイン&プレイアタック(Plug & Play Attacks)を提案する。
  論文  参考訳（メタデータ） (2022-01-28T15:25:50Z)
• Delving into Data: Effectively Substitute Training for Black-box Attack [84.85798059317963]
  本稿では,知識盗むプロセスで使用されるデータの分散設計に焦点をあてた,新しい視点代替トレーニングを提案する。 これら2つのモジュールの組み合わせにより、代替モデルとターゲットモデルの一貫性がさらに向上し、敵攻撃の有効性が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-26T07:26:29Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)
• How Does Data Augmentation Affect Privacy in Machine Learning? [94.52721115660626]
  拡張データの情報を活用するために,新たなMI攻撃を提案する。 モデルが拡張データで訓練された場合、最適な会員推定値を確立する。
  論文  参考訳（メタデータ） (2020-07-21T02:21:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。