論文の概要: Why Train More? Effective and Efficient Membership Inference via Memorization

• arxiv url: http://arxiv.org/abs/2310.08015v1
• Date: Thu, 12 Oct 2023 03:29:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-15 11:20:44.078382
• Title: Why Train More? Effective and Efficient Membership Inference via Memorization
• Title（参考訳）: なぜもっと訓練するの? 記憶による効率的なメンバーシップ推論
• Authors: Jihye Choi, Shruti Tople, Varun Chandrasekaran, Somesh Jha
• Abstract要約: メンバシップ推論攻撃は、マシンラーニングモデルのプライベートトレーニングデータセット内で、特定のデータサンプルを特定することを目的としている。 戦略的にサンプルを選択することで、MI敵はシャドウモデルの数を最小化しながら攻撃の成功を最大化することができる。
• 参考スコア（独自算出の注目度）: 34.13594460560715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Membership Inference Attacks (MIAs) aim to identify specific data samples within the private training dataset of machine learning models, leading to serious privacy violations and other sophisticated threats. Many practical black-box MIAs require query access to the data distribution (the same distribution where the private data is drawn) to train shadow models. By doing so, the adversary obtains models trained "with" or "without" samples drawn from the distribution, and analyzes the characteristics of the samples under consideration. The adversary is often required to train more than hundreds of shadow models to extract the signals needed for MIAs; this becomes the computational overhead of MIAs. In this paper, we propose that by strategically choosing the samples, MI adversaries can maximize their attack success while minimizing the number of shadow models. First, our motivational experiments suggest memorization as the key property explaining disparate sample vulnerability to MIAs. We formalize this through a theoretical bound that connects MI advantage with memorization. Second, we show sample complexity bounds that connect the number of shadow models needed for MIAs with memorization. Lastly, we confirm our theoretical arguments with comprehensive experiments; by utilizing samples with high memorization scores, the adversary can (a) significantly improve its efficacy regardless of the MIA used, and (b) reduce the number of shadow models by nearly two orders of magnitude compared to state-of-the-art approaches.
• Abstract（参考訳）: メンバーシップ推論攻撃(mias)は、マシンラーニングモデルのプライベートトレーニングデータセット内の特定のデータサンプルを識別することを目的としている。 多くの実用的なブラックボックスMIAは、シャドーモデルを訓練するためにデータ分散(プライベートデータが描画されるのと同じ分布)へのクエリアクセスを必要とする。 これにより、その分布から引き出された「無」または「無」なサンプルを訓練したモデルを取得し、検討中のサンプルの特性を分析する。 敵はしばしば、MIAに必要な信号を抽出するために数百以上のシャドウモデルを訓練する必要がある。 本稿では,サンプルを戦略的に選択することで,影モデルの数を最小限に抑えつつ攻撃成功を最大化できることを示す。 まず, 異なるサンプル脆弱性をMIAに説明するための重要な特性として, メモリ化を示唆した。 我々は、MIの利点と記憶を結び付ける理論的境界によってこれを定式化する。 第2に,MIAに必要な影モデル数と記憶量とを結合するサンプル複雑性境界を示す。 最後に、我々の理論的議論を総合的な実験で確認し、高い暗記スコアのサンプルを利用することで、敵は対抗できる。 (a)使用したMIAに関係なく有効性を著しく向上させ、 (b) 最先端手法と比較して, 影モデルの大きさを2桁近く削減する。

関連論文リスト

• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• Are You Stealing My Model? Sample Correlation for Fingerprinting Deep Neural Networks [86.55317144826179]
  従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。 本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。 SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
  論文  参考訳（メタデータ） (2022-10-21T02:07:50Z)
• Improving Adversarial Robustness via Mutual Information Estimation [144.33170440878519]
  ディープニューラルネットワーク(DNN)は、敵の雑音に弱い。 本稿では,情報理論の観点から,対象モデルの出力と入力対向サンプルの依存性について検討する。 本稿では,自然MIの最大化と,学習過程における敵MIの最小化により,敵ロバスト性を高めることを提案する。
  論文  参考訳（メタデータ） (2022-07-25T13:45:11Z)
• An Efficient Subpopulation-based Membership Inference Attack [11.172550334631921]
  我々は、数百のシャドウモデルを訓練する必要のない、根本的に異なるMIアタックアプローチを導入する。 我々は、トレーニングコストを大幅に削減しつつ、最先端の会員推定精度を達成する。
  論文  参考訳（メタデータ） (2022-03-04T00:52:06Z)
• Reconstruction-Based Membership Inference Attacks are Easier on Difficult Problems [36.13835940345486]
  高次元の入力と出力を持つモデルは、メンバーシップ推論攻撃に対してより脆弱であることを示す。 本稿では,各サンプルに対して計算可能な新しい予測可能性スコアを提案し,その計算はトレーニングセットを必要としない。 再構成誤差から予測可能性スコアを減算して得られた会員誤差は,多数のベンチマークにおいて高いMIA精度が得られることを示す。
  論文  参考訳（メタデータ） (2021-02-15T18:57:22Z)
• Practical Blind Membership Inference Attack via Differential Comparisons [22.582872789369752]
  メンバーシップ推論(MI)攻撃は、特定のデータサンプルがターゲット学習モデルのトレーニングに使用されたかどうかを推測することによって、ユーザのプライバシに影響を与える。 blindmiはターゲットモデルを調査し、差分比較と呼ばれる新しいアプローチでメンバーシップセマンティクスを抽出する。 BlindMIを最先端のMI攻撃アルゴリズムと比較して評価した。
  論文  参考訳（メタデータ） (2021-01-05T04:07:15Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)
• On the Difficulty of Membership Inference Attacks [11.172550334631921]
  近年の研究では,深層モデルに対するMI攻撃が提案されている。 明らかな成功にもかかわらず、これらの研究は正のクラス(メンバークラス)の正確さ、正確さ、リコールのみを報告している。 報告されていない偽陽性率や誤警報率(FAR)に悩まされているため,MI攻撃の報告方法が誤解を招くことが多い。
  論文  参考訳（メタデータ） (2020-05-27T23:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。