論文の概要: Membership Inference Attacks on Large-Scale Models: A Survey

• arxiv url: http://arxiv.org/abs/2503.19338v3
• Date: Sun, 31 Aug 2025 10:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-03 14:24:52.246187
• Title: Membership Inference Attacks on Large-Scale Models: A Survey
• Title（参考訳）: 大規模モデルにおけるメンバーシップ推論攻撃:サーベイ
• Authors: Hengyu Wu, Yang Cao,
• Abstract要約: メンバーシップ推論攻撃(MIA)は、プライバシーリスクを暴露または評価するための重要なテクニックである。 大規模言語モデル(LLM)と大規模マルチモーダルモデル(LMM)を対象とするMIAの総合的なレビューを初めて行った。 先行調査とは違って,事前学習,微調整,アライメント,検索・拡張生成(RAG)など,モデルパイプラインの複数段階にわたるMIAについて検討する。
• 参考スコア（独自算出の注目度）: 5.795582095405318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large-scale models such as Large Language Models (LLMs) and Large Multimodal Models (LMMs) see increasing deployment, their privacy risks remain underexplored. Membership Inference Attacks (MIAs), which reveal whether a data point was used in training the target model, are an important technique for exposing or assessing privacy risks and have been shown to be effective across diverse machine learning algorithms. However, despite extensive studies on MIAs in classic models, there remains a lack of systematic surveys addressing their effectiveness and limitations in large-scale models. To address this gap, we provide the first comprehensive review of MIAs targeting LLMs and LMMs, analyzing attacks by model type, adversarial knowledge, and strategy. Unlike prior surveys, we further examine MIAs across multiple stages of the model pipeline, including pre-training, fine-tuning, alignment, and Retrieval-Augmented Generation (RAG). Finally, we identify open challenges and propose future research directions for strengthening privacy resilience in large-scale models.
• Abstract（参考訳）: LLM(Large Language Models)やLMM(Large Multimodal Models)のような大規模モデルでは、デプロイが増加しているため、プライバシのリスクは未検討のままである。 ターゲットモデルのトレーニングにデータポイントが使用されたかどうかを明らかにするメンバシップ推論攻撃(MIA)は、プライバシリスクを公開するか評価するための重要なテクニックであり、さまざまな機械学習アルゴリズムで有効であることが示されている。 しかし、古典的モデルにおけるMIAに関する広範な研究にもかかわらず、大規模モデルの有効性と限界に対処する体系的な調査はいまだに残っていない。 このギャップに対処するため、我々はLLMとLMMをターゲットにしたMIAsの総合的なレビューを行い、モデルタイプ、敵対的知識、戦略による攻撃を分析した。 先行調査とは違って,事前学習,微調整,アライメント,検索・拡張生成(RAG)など,モデルパイプラインの複数の段階にわたるMIAについて検討する。 最後に、オープンな課題を特定し、大規模モデルにおけるプライバシーのレジリエンスを強化するための今後の研究方向性を提案する。

関連論文リスト

• PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning [27.16106173526184]
  LMMのための現実的な未学習シナリオのためのPULSEプロトコルを提案する。 そして、これらの次元に沿って既存の未学習手法を評価する。 以上の結果から,いくつかの技術は微調整によって習得した知識を学べるが,事前学習中に学習した情報の除去に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-07-02T01:13:08Z)
• Discrete Diffusion in Large Language and Multimodal Models: A Survey [56.31088116526825]
  離散拡散言語モデル(dLLM)と離散拡散多モード言語モデル(dMLLM)の体系的調査を提供する。 自己回帰(AR)モデルとは異なり、dLLMとdMLLMはマルチトークンの並列デコードパラダイムを採用している。 我々は、dLLMとdMLLMの歴史的発展を辿り、基礎となる数学的枠組みを定式化し、代表モデルを分類する。
  論文  参考訳（メタデータ） (2025-06-16T17:59:08Z)
• Anomaly Detection and Generation with Diffusion Models: A Survey [51.61574868316922]
  異常検出(AD)は、サイバーセキュリティ、金融、医療、工業製造など、さまざまな分野において重要な役割を担っている。 近年のディープラーニング,特に拡散モデル(DM)の進歩は,大きな関心を集めている。 この調査は、研究者や実践者が様々なアプリケーションにまたがる革新的なADソリューションにDMを利用することをガイドすることを目的としている。
  論文  参考訳（メタデータ） (2025-06-11T03:29:18Z)
• EM-MIAs: Enhancing Membership Inference Attacks in Large Language Models through Ensemble Modeling [2.494935495983421]
  本稿では,XGBoostをベースとしたモデルに既存のMIA技術を統合し,全体的な攻撃性能(EM-MIAs)を向上させる新しいアンサンブル攻撃法を提案する。 実験結果から,アンサンブルモデルではAUC-ROCと精度が,大規模言語モデルやデータセットを対象とする個別攻撃法と比較して有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2024-12-23T03:47:54Z)
• Evaluating the Performance of Large Language Models in Scientific Claim Detection and Classification [0.0]
  本研究では,Twitterのようなプラットフォーム上での誤情報を緩和する革新的な手法として,LLM(Large Language Models)の有効性を評価する。 LLMは、従来の機械学習モデルに関連する広範なトレーニングと過度に適合する問題を回避し、事前訓練された適応可能なアプローチを提供する。 特定データセットを用いたLCMの性能の比較分析を行い、公衆衛生コミュニケーションへの応用のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-21T05:02:26Z)
• Model Inversion Attacks: A Survey of Approaches and Countermeasures [59.986922963781]
  近年、新しいタイプのプライバシ攻撃であるモデル反転攻撃(MIA)は、トレーニングのためのプライベートデータの機密性を抽出することを目的としている。 この重要性にもかかわらず、総合的な概要とMIAに関する深い洞察を提供する体系的な研究が欠如している。 本調査は、攻撃と防御の両方において、最新のMIA手法を要約することを目的としている。
  論文  参考訳（メタデータ） (2024-11-15T08:09:28Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。 大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。 EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
  大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。 この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。 本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T01:37:29Z)
• A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends [78.3201480023907]
  LVLM(Large Vision-Language Models)は、多モーダルな理解と推論タスクにまたがる顕著な能力を示す。 LVLMの脆弱性は比較的過小評価されており、日々の使用において潜在的なセキュリティリスクを生じさせる。 本稿では,既存のLVLM攻撃の様々な形態について概説する。
  論文  参考訳（メタデータ） (2024-07-10T06:57:58Z)
• Privacy Preserving Prompt Engineering: A Survey [14.402638881376419]
  事前学習された言語モデル(PLM)は、広範囲の自然言語処理(NLP)タスクを解くのに非常に有能である。 その結果、これらのモデルのサイズは近年顕著に拡大している。 プライバシーに関する懸念は、広く使われている中で大きな障害となっている。
  論文  参考訳（メタデータ） (2024-04-09T04:11:25Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• Identifying and Mitigating Privacy Risks Stemming from Language Models: A Survey [43.063650238194384]
  大規模言語モデル(LLM)は,近年,大規模化と広範囲なトレーニングデータによるパフォーマンス向上を図っている。 機械学習モデルのトレーニングデータ記憶は、特にLLMに関して、モデルサイズに合わせてスケールする。 記憶されたテキストシーケンスは、LSMから直接リークされる可能性があり、データのプライバシに深刻な脅威をもたらす。
  論文  参考訳（メタデータ） (2023-09-27T15:15:23Z)
• Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility [37.682136465784254]
  我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。 入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。 そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
  論文  参考訳（メタデータ） (2023-05-15T15:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。