Fugu-MT 論文翻訳(概要): Order of Magnitude Speedups for LLM Membership Inference

論文の概要: Order of Magnitude Speedups for LLM Membership Inference

arxiv url: http://arxiv.org/abs/2409.14513v2
Date: Tue, 24 Sep 2024 17:48:58 GMT
ステータス: 処理完了
システム内更新日: 2024-11-06 22:19:40.941402
Title: Order of Magnitude Speedups for LLM Membership Inference
Title（参考訳）: LLMメンバーシップ推論におけるマグニチュードスピードアップの順序
Authors: Rongting Zhang, Martin Bertran, Aaron Roth,
Abstract要約: 大規模言語モデル(LLM)は、コンピューティングを広く革新させるという約束を持っているが、その複雑さと広範なトレーニングデータもまた、プライバシの脆弱性を露呈している。 LLMに関連する最も単純なプライバシーリスクの1つは、メンバーシップ推論攻撃(MIA)に対する感受性である。文書がモデルのトレーニングセットに属しているか否かを判断するために,小さな量子レグレッションモデルのアンサンブルを利用する低コストMIAを提案する。
参考スコア（独自算出の注目度）: 5.124111136127848
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have the promise to revolutionize computing broadly, but their complexity and extensive training data also expose significant privacy vulnerabilities. One of the simplest privacy risks associated with LLMs is their susceptibility to membership inference attacks (MIAs), wherein an adversary aims to determine whether a specific data point was part of the model's training set. Although this is a known risk, state of the art methodologies for MIAs rely on training multiple computationally costly shadow models, making risk evaluation prohibitive for large models. Here we adapt a recent line of work which uses quantile regression to mount membership inference attacks; we extend this work by proposing a low-cost MIA that leverages an ensemble of small quantile regression models to determine if a document belongs to the model's training set or not. We demonstrate the effectiveness of this approach on fine-tuned LLMs of varying families (OPT, Pythia, Llama) and across multiple datasets. Across all scenarios we obtain comparable or improved accuracy compared to state of the art shadow model approaches, with as little as 6% of their computation budget. We demonstrate increased effectiveness across multi-epoch trained target models, and architecture miss-specification robustness, that is, we can mount an effective attack against a model using a different tokenizer and architecture, without requiring knowledge on the target model.
Abstract（参考訳）: 大規模言語モデル(LLM)は、コンピューティングを広く革新させるという約束を持っているが、その複雑さと広範なトレーニングデータもまた、重大なプライバシー上の脆弱性を露呈している。 LLMに関連する最も単純なプライバシーリスクの1つは、メンバーシップ推論攻撃(MIA)に対する感受性である。これは既知のリスクであるが、MIAの最先端の方法論は複数の計算コストのかかるシャドウモデルの訓練に依存しており、大きなモデルではリスク評価が禁止されている。ここでは、量子レグレッションを用いてメンバシップ推論攻撃をマウントする最近の作業の行を適応し、小さな量子レグレッションモデルのアンサンブルを利用して、文書がモデルのトレーニングセットに属しているかどうかを判断する安価なMIAを提案する。提案手法の有効性は,様々な家系(OPT,Pythia,Llama)および複数のデータセットの微調整LLMに対して示す。すべてのシナリオにおいて、最先端のシャドウモデルアプローチと比較して、計算予算の6%に満たない、同等または改善された精度が得られます。マルチエポックトレーニング対象モデルにおける有効性の向上,アーキテクチャミス特定の堅牢性,すなわち,ターゲットモデルに関する知識を必要とせず,異なるトークン化器とアーキテクチャを用いたモデルに対する効果的な攻撃を実施できることを示す。

関連論文リスト

A hierarchical approach for assessing the vulnerability of tree-based classification models to membership inference attack [0.552480439325792]
機械学習モデルは、トレーニングデータの秘密プロパティを不注意に公開し、メンバシップ推論攻撃(MIA)に対して脆弱になる。本稿では、脆弱な木に基づくモデルを効率的に同定するための2つの新しい補完的アプローチを提案する。
論文参考訳（メタデータ） (2025-02-13T15:16:53Z)
EM-MIAs: Enhancing Membership Inference Attacks in Large Language Models through Ensemble Modeling [2.494935495983421]
本稿では,XGBoostをベースとしたモデルに既存のMIA技術を統合し,全体的な攻撃性能(EM-MIAs)を向上させる新しいアンサンブル攻撃法を提案する。実験結果から,アンサンブルモデルではAUC-ROCと精度が,大規模言語モデルやデータセットを対象とする個別攻撃法と比較して有意に向上していることがわかった。
論文参考訳（メタデータ） (2024-12-23T03:47:54Z)
Free Record-Level Privacy Risk Evaluation Through Artifact-Based Methods [6.902279764206365]
メンバーシップ推論攻撃(MIA)は機械学習モデルにおけるプライバシリスクを評価するために広く利用されている。最先端の手法では、ターゲットモデルと同じアーキテクチャで数百のシャドウモデルをトレーニングする必要があります。そこで本研究では,トレーニングプロセス中に自然に入手可能なアーティファクトを解析することにより,メンバシップ推論攻撃に最も脆弱なトレーニングサンプルを同定する手法を提案する。
論文参考訳（メタデータ） (2024-11-08T18:04:41Z)
Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
論文参考訳（メタデータ） (2024-02-12T17:52:05Z)
Practical Membership Inference Attacks Against Large-Scale Multi-Modal Models: A Pilot Study [17.421886085918608]
メンバーシップ推論攻撃(MIA)は、機械学習モデルのトレーニングにデータポイントを使用したかどうかを推測することを目的としている。これらの攻撃は、潜在的なプライバシー上の脆弱性を特定し、個人データの不正使用を検出するために使用できる。本稿では,大規模マルチモーダルモデルに対する実用的なMIAの開発に向けて第一歩を踏み出す。
論文参考訳（メタデータ） (2023-09-29T19:38:40Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models [64.03398193325572]
機械学習(ML)モデルに対する推論攻撃により、敵はトレーニングデータやモデルパラメータなどを学ぶことができる。私たちは、メンバシップ推論、モデル反転、属性推論、モデル盗難の4つの攻撃に集中しています。私たちの分析では、MLモデルオーナがモデルをデプロイするリスクを評価することができる、モジュール化された再使用可能なソフトウェアであるML-Doctorに依存しています。
論文参考訳（メタデータ） (2021-02-04T11:35:13Z)
Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文参考訳（メタデータ） (2020-10-08T16:20:48Z)
Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning [27.494206948563885]
本稿では,転送学習モデルに対するメンバシップ推論攻撃の最初の体系的評価について述べる。 4つの実世界の画像データセットに対する実験により、メンバーシップ推論が効果的なパフォーマンスを達成できることが示されている。我々の結果は、実際に機械学習モデルから生じるメンバーシップリスクの深刻さを浮き彫りにした。
論文参考訳（メタデータ） (2020-09-10T14:14:22Z)
How Does Data Augmentation Affect Privacy in Machine Learning? [94.52721115660626]
拡張データの情報を活用するために,新たなMI攻撃を提案する。モデルが拡張データで訓練された場合、最適な会員推定値を確立する。
論文参考訳（メタデータ） (2020-07-21T02:21:10Z)
Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。