Fugu-MT 論文翻訳(概要): Context-Aware Membership Inference Attacks against Pre-trained Large Language Models

論文の概要: Context-Aware Membership Inference Attacks against Pre-trained Large Language Models

arxiv url: http://arxiv.org/abs/2409.13745v1
Date: Wed, 11 Sep 2024 01:56:35 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 05:24:17.949680
Title: Context-Aware Membership Inference Attacks against Pre-trained Large Language Models
Title（参考訳）: 事前訓練された大規模言語モデルに対する文脈認識型メンバーシップ推論攻撃
Authors: Hongyan Chang, Ali Shahin Shamsabadi, Kleomenis Katevas, Hamed Haddadi, Reza Shokri,
Abstract要約: データポイント内のサブシーケンスのパープレキシティダイナミクスにMIA統計的テストを適用する新たな攻撃を提案する。本手法は, 事前学習LLMにおける文脈依存記憶パターンを明らかにすることによって, 従来のロスベース手法よりも有意に優れていた。
参考スコア（独自算出の注目度）: 27.197956004558492
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Prior Membership Inference Attacks (MIAs) on pre-trained Large Language Models (LLMs), adapted from classification model attacks, fail due to ignoring the generative process of LLMs across token sequences. In this paper, we present a novel attack that adapts MIA statistical tests to the perplexity dynamics of subsequences within a data point. Our method significantly outperforms prior loss-based approaches, revealing context-dependent memorization patterns in pre-trained LLMs.
Abstract（参考訳）: 事前訓練されたLarge Language Models (LLM) における事前メンバーシップ推論攻撃 (MIA) は、トークンシーケンス間でLLMの生成プロセスを無視するため失敗する。本稿では,データポイント内のサブシーケンスのパープレキシティダイナミクスにMIA統計的テストを適用する新たな攻撃を提案する。本手法は, 事前学習LLMにおける文脈依存記憶パターンを明らかにすることによって, 従来のロスベース手法よりも有意に優れていた。

関連論文リスト

Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
論文参考訳（メタデータ） (2025-02-10T17:57:15Z)
EM-MIAs: Enhancing Membership Inference Attacks in Large Language Models through Ensemble Modeling [2.494935495983421]
本稿では,XGBoostをベースとしたモデルに既存のMIA技術を統合し,全体的な攻撃性能(EM-MIAs)を向上させる新しいアンサンブル攻撃法を提案する。実験結果から,アンサンブルモデルではAUC-ROCと精度が,大規模言語モデルやデータセットを対象とする個別攻撃法と比較して有意に向上していることがわかった。
論文参考訳（メタデータ） (2024-12-23T03:47:54Z)
Defending Large Language Models Against Attacks With Residual Stream Activation Analysis [0.0]
大規模言語モデル(LLM)は敵の脅威に対して脆弱である。本稿では, LLM へのホワイトボックスアクセスを前提とした, 革新的な防御戦略を提案する。そこで本研究では,アタックプロンプト分類のための残差ストリームの固有なアクティベーションパターンを解析するための新しい手法を適用した。
論文参考訳（メタデータ） (2024-06-05T13:06:33Z)
Incorporating LLM Priors into Tabular Learners [6.835834518970967]
分類変数のランク付けにLarge Language Models(LLM)を利用する2つの戦略を導入する。我々は、順序を基数にマッピングするために非線形単調関数を用いるモノトニックLRを導入する、ロジスティック回帰に焦点を当てる。
論文参考訳（メタデータ） (2023-11-20T09:27:09Z)
Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
メンバーシップ推論攻撃は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
論文参考訳（メタデータ） (2023-11-10T13:55:05Z)
COVER: A Heuristic Greedy Adversarial Attack on Prompt-based Learning in Language Models [4.776465250559034]
ブラックボックスシナリオにおける手動テンプレートに対するプロンプトベースの逆攻撃を提案する。まず,手動テンプレートを個別に分割するための文字レベルと単語レベルのアプローチを設計する。そして、上記の破壊的アプローチに基づく攻撃に対する欲求的アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-09T03:53:42Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。本研究では,このアプローチをニューラルLMの文脈で再考する。
論文参考訳（メタデータ） (2022-03-21T01:16:44Z)
Membership Inference Attacks Against Self-supervised Speech Models [62.73937175625953]
連続音声における自己教師付き学習(SSL)が注目されている。ブラックボックスアクセス下でのMIA(Commanship Inference Attacks)を用いたSSL音声モデルに対する最初のプライバシ分析を行う。
論文参考訳（メタデータ） (2021-11-09T13:00:24Z)
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文参考訳（メタデータ） (2021-04-14T06:30:36Z)
Adversarial Attack and Defense of Structured Prediction Models [58.49290114755019]
本論文では,NLPにおける構造化予測タスクに対する攻撃と防御について検討する。構造化予測モデルの構造化出力は、入力中の小さな摂動に敏感である。本稿では,シーケンス・ツー・シーケンス・モデルを用いて,構造化予測モデルへの攻撃を学習する,新規で統一的なフレームワークを提案する。
論文参考訳（メタデータ） (2020-10-04T15:54:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。