論文の概要: Semantic Membership Inference Attack against Large Language Models

• arxiv url: http://arxiv.org/abs/2406.10218v1
• Date: Fri, 14 Jun 2024 17:53:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 12:27:23.250348
• Title: Semantic Membership Inference Attack against Large Language Models
• Title（参考訳）: 大規模言語モデルに対する意味的メンバーシップ推論攻撃
• Authors: Hamid Mozaffari, Virendra J. Marathe,
• Abstract要約: メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングセットに含まれるかどうかを決定する。 入力のセマンティックな内容と摂動を利用してMIA性能を向上させる新しいアプローチであるセマンティック・メンバーシップ・推論・アタック(SMIA)を導入する。 SMIAはニューラルネットワークをトレーニングし、摂動入力におけるターゲットモデルの振る舞いを分析し、メンバーと非メンバー間の出力確率分布の変動を効果的に捉える。
• 参考スコア（独自算出の注目度）: 2.961909021941052
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Membership Inference Attacks (MIAs) determine whether a specific data point was included in the training set of a target model. In this paper, we introduce the Semantic Membership Inference Attack (SMIA), a novel approach that enhances MIA performance by leveraging the semantic content of inputs and their perturbations. SMIA trains a neural network to analyze the target model's behavior on perturbed inputs, effectively capturing variations in output probability distributions between members and non-members. We conduct comprehensive evaluations on the Pythia and GPT-Neo model families using the Wikipedia dataset. Our results show that SMIA significantly outperforms existing MIAs; for instance, SMIA achieves an AUC-ROC of 67.39% on Pythia-12B, compared to 58.90% by the second-best attack.
• Abstract（参考訳）: メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングセットに含まれるかどうかを決定する。 本稿では,入力のセマンティックな内容と摂動を利用してMIA性能を向上させる新しいアプローチであるセマンティック・メンバーシップ・推論・アタック(SMIA)を紹介する。 SMIAはニューラルネットワークをトレーニングし、摂動入力におけるターゲットモデルの振る舞いを分析し、メンバーと非メンバー間の出力確率分布の変動を効果的に捉える。 ウィキペディアデータセットを用いて,PythiaおよびGPT-Neoモデルファミリーの総合評価を行う。 その結果、SMIAは既存のMIAよりも有意に優れており、例えば、SMIAはPythia-12Bで67.39%のAUC-ROCを達成している。

関連論文リスト

• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Do Membership Inference Attacks Work on Large Language Models? [145.90022632726883]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• MIA-BAD: An Approach for Enhancing Membership Inference Attack and its Mitigation with Federated Learning [6.510488168434277]
  メンバシップ推論攻撃(MIA)は、機械学習(ML)モデルのプライバシを妥協するための一般的なパラダイムである。 バッチ・ワイズ・アサート・データセット(MIA-BAD)を用いた強化されたメンバーシップ推論攻撃を提案する。 FLを用いたMLモデルのトレーニング方法を示すとともに,提案したMIA-BADアプローチによる脅威をFLアプローチで緩和する方法について検討する。
  論文  参考訳（メタデータ） (2023-11-28T06:51:26Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• A Probabilistic Fluctuation based Membership Inference Attack for Diffusion Models [32.15773300068426]
  メンバーシップ推論攻撃(MIA)は、機械学習モデルのトレーニングセットに、モデルをクエリすることでレコードが存在するかどうかを特定する。 PFAMI(Probabilistic Fluctuation Assessing Membership Inference Attack)を提案する。 PFAMIは最高のベースラインと比較して攻撃成功率(ASR)を約27.9%向上させることができる。
  論文  参考訳（メタデータ） (2023-08-23T14:00:58Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• MIAShield: Defending Membership Inference Attacks via Preemptive Exclusion of Members [9.301268830193072]
  メンバーシップ推論攻撃では、相手はモデルの予測を観察し、サンプルがモデルのトレーニングデータの一部であるかどうかを判断する。 そこで我々は,MIAShieldを提案する。MIAShieldは,メンバーの存在を隠蔽する代わりに,メンバーサンプルのプリエンプティブ排除に基づく新しいMIAディフェンスである。 我々は,MIAShieldが多岐にわたるMIAの会員推定を効果的に緩和し,最先端の防衛技術と比較してはるかに優れたプライバシー利用トレードオフを実現し,適応的敵に対する耐性を保っていることを示す。
  論文  参考訳（メタデータ） (2022-03-02T07:53:21Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• How Does Data Augmentation Affect Privacy in Machine Learning? [94.52721115660626]
  拡張データの情報を活用するために,新たなMI攻撃を提案する。 モデルが拡張データで訓練された場合、最適な会員推定値を確立する。
  論文  参考訳（メタデータ） (2020-07-21T02:21:10Z)
• Data and Model Dependencies of Membership Inference Attack [13.951470844348899]
  我々は、データとMLモデル特性の両方がMIAに対するML手法の脆弱性に与える影響を実証分析する。 この結果から,MIAの精度とデータセットの特性と使用中のトレーニングモデルとの関係が明らかになった。 我々は,これらのデータとモデル特性をレギュレータとして利用し,MLモデルをMIAに対して保護することを提案する。
  論文  参考訳（メタデータ） (2020-02-17T09:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。