論文の概要: SoK: Comparing Different Membership Inference Attacks with a Comprehensive Benchmark

• arxiv url: http://arxiv.org/abs/2307.06123v1
• Date: Wed, 12 Jul 2023 12:23:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 13:11:31.695428
• Title: SoK: Comparing Different Membership Inference Attacks with a Comprehensive Benchmark
• Title（参考訳）: SoK: 異なるメンバーシップ推論攻撃と包括的なベンチマークの比較
• Authors: Jun Niu, Xiaoyan Zhu, Moxuan Zeng, Ge Zhang, Qingyang Zhao, Chunhui Huang, Yangming Zhang, Suyu An, Yangzhong Wang, Xinghui Yue, Zhipeng He, Weihao Guo, Kuo Shen, Peng Liu, Yulong Shen, Xiaohong Jiang, Jianfeng Ma, Yuqing Zhang
• Abstract要約: メンバーシップ推論(MI)攻撃は、特定のデータサンプルがターゲットモデルをトレーニングするために使用されているかどうかを判断することで、ユーザのプライバシを脅かす。 異なるMI攻撃」手法には深刻な制限があることがますます認識されている。 我々は、評価指標だけでなく、評価シナリオも含むMIBenchと呼ばれる異なるMI攻撃の比較ベンチマークを開発する。
• 参考スコア（独自算出の注目度）: 34.33992286137998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Membership inference (MI) attacks threaten user privacy through determining if a given data example has been used to train a target model. However, it has been increasingly recognized that the "comparing different MI attacks" methodology used in the existing works has serious limitations. Due to these limitations, we found (through the experiments in this work) that some comparison results reported in the literature are quite misleading. In this paper, we seek to develop a comprehensive benchmark for comparing different MI attacks, called MIBench, which consists not only the evaluation metrics, but also the evaluation scenarios. And we design the evaluation scenarios from four perspectives: the distance distribution of data samples in the target dataset, the distance between data samples of the target dataset, the differential distance between two datasets (i.e., the target dataset and a generated dataset with only nonmembers), and the ratio of the samples that are made no inferences by an MI attack. The evaluation metrics consist of ten typical evaluation metrics. We have identified three principles for the proposed "comparing different MI attacks" methodology, and we have designed and implemented the MIBench benchmark with 84 evaluation scenarios for each dataset. In total, we have used our benchmark to fairly and systematically compare 15 state-of-the-art MI attack algorithms across 588 evaluation scenarios, and these evaluation scenarios cover 7 widely used datasets and 7 representative types of models. All codes and evaluations of MIBench are publicly available at https://github.com/MIBench/MIBench.github.io/blob/main/README.md.
• Abstract（参考訳）: メンバーシップ推論(MI)攻撃は、特定のデータサンプルを使用してターゲットモデルをトレーニングしたかどうかを判断することで、ユーザのプライバシを脅かす。 しかし、既存の作業で使用される「異なるMI攻撃」手法には深刻な制約があることがますます認識されている。 これらの制限のため、文献で報告されたいくつかの比較結果がかなり誤解を招くことが判明した(この研究での実験を通して)。 本稿では、評価指標だけでなく、評価シナリオも含むMIBenchと呼ばれる異なるMI攻撃を比較するための総合的なベンチマークを開発することを目的とする。 また,対象データセット内のデータサンプル間の距離分布,対象データセットのデータサンプル間の距離,2つのデータセット間の差分距離(ターゲットデータセットと非メンバのみの生成されたデータセット),mi攻撃による推論を行わないサンプルの比率という4つの視点から評価シナリオを設計する。 評価指標は10の典型的な評価指標からなる。 我々は,提案手法である"異なるmi攻撃の比較"のための3つの原則を特定し,各データセットに対する84の評価シナリオを備えたmibenchベンチマークの設計と実装を行った。 588の評価シナリオで15の最先端mi攻撃アルゴリズムを公平かつ体系的に比較し,これらの評価シナリオは,広く使用されている7つのデータセットと,代表的な7種類のモデルをカバーする。 MIBenchのコードと評価はhttps://github.com/MIBench/MIBench.github.io/blob/main/README.mdで公開されている。

関連論文リスト

• SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
  分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。 ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。 提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
  論文  参考訳（メタデータ） (2024-11-14T17:53:35Z)
• A Benchmark Suite for Evaluating Neural Mutual Information Estimators on Unstructured Datasets [3.2228025627337864]
  相互情報(MI)は、2つの確率変数間の依存性を定量化するための基本的な指標である。 本研究では、非構造化データセット上でのニューラルMI推定値を評価するための総合ベンチマークスイートを提案する。
  論文  参考訳（メタデータ） (2024-10-14T14:22:38Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
  メンバーシップ推論攻撃は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。 自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
  論文  参考訳（メタデータ） (2023-11-10T13:55:05Z)
• Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking [66.83273589348758]
  リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
  論文  参考訳（メタデータ） (2023-06-18T01:58:59Z)
• On the Vulnerability of Data Points under Multiple Membership Inference Attacks and Target Models [30.697733159196044]
  メンバーシップ推論攻撃(MIA)は、データポイントが機械学習モデルのトレーニングデータに含まれるかどうかを推測する。 本稿では,データポイントの脆弱性の実態を反映した新しい指標を定義する。 平均攻撃精度は0.5から0.9の範囲で、スケーラブルで柔軟なプラットフォームで分析をサポートするために54MIAを実装しています。
  論文  参考訳（メタデータ） (2022-10-28T16:50:21Z)
• Optimal Membership Inference Bounds for Adaptive Composition of Sampled Gaussian Mechanisms [93.44378960676897]
  トレーニングされたモデルとデータサンプルが与えられた場合、メンバシップ推論(MI)アタックは、サンプルがモデルのトレーニングセットにあるかどうかを予測する。 MI攻撃に対する一般的な対策は、モデルトレーニング中に差分プライバシー(DP)を利用して個々の事例の存在を隠蔽することである。 本稿では,MI攻撃を装着した相手のテキスト・アドバンテージのバウンダリを導出し,広く利用されているガウス機構の厳密性を示す。
  論文  参考訳（メタデータ） (2022-04-12T22:36:56Z)
• Shades of BLEU, Flavours of Success: The Case of MultiWOZ [0.0]
  本研究では、このデータセットで使用される3つのコーパスベースのメトリクスについて、データ前処理とレポートの不整合を同定する。 我々は,MultiWOZベンチマークのいくつかの問題として,不満足な事前処理,不十分あるいは不明確な評価指標,厳密なデータベースなどを挙げている。 将来のシステムの比較を容易にするために,スタンドアローンで標準化された評価スクリプトをリリースする。
  論文  参考訳（メタデータ） (2021-06-10T07:33:53Z)
• Practical Blind Membership Inference Attack via Differential Comparisons [22.582872789369752]
  メンバーシップ推論(MI)攻撃は、特定のデータサンプルがターゲット学習モデルのトレーニングに使用されたかどうかを推測することによって、ユーザのプライバシに影響を与える。 blindmiはターゲットモデルを調査し、差分比較と呼ばれる新しいアプローチでメンバーシップセマンティクスを抽出する。 BlindMIを最先端のMI攻撃アルゴリズムと比較して評価した。
  論文  参考訳（メタデータ） (2021-01-05T04:07:15Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。