論文の概要: Membership Inference Attack against Large Language Model-based Recommendation Systems: A New Distillation-based Paradigm
- arxiv url: http://arxiv.org/abs/2511.14763v2
- Date: Tue, 02 Dec 2025 09:49:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-07 19:06:32.193359
- Title: Membership Inference Attack against Large Language Model-based Recommendation Systems: A New Distillation-based Paradigm
- Title(参考訳): 大規模言語モデルに基づく推薦システムに対する会員推論攻撃:新しい蒸留に基づくパラダイム
- Authors: Li Cuihong, Huang Xiaowen, Yin Chuanhuan, Sang Jitao,
- Abstract要約: メンバーシップ推論攻撃(MIA)は、特定のデータサンプルがターゲットモデルのトレーニングデータセットに含まれているかどうかを判断することを目的としている。
本稿では,Large Language Model(LLM)に基づくレコメンデーションシステムに適した知識蒸留に基づくMIAパラダイムを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Membership Inference Attack (MIA) aims to determine whether a specific data sample was included in the training dataset of a target model. Traditional MIA approaches rely on shadow models to mimic target model behavior, but their effectiveness diminishes for Large Language Model (LLM)-based recommendation systems due to the scale and complexity of training data. This paper introduces a novel knowledge distillation-based MIA paradigm tailored for LLM-based recommendation systems. Our method constructs a reference model via distillation, applying distinct strategies for member and non-member data to enhance discriminative capabilities. The paradigm extracts fused features (e.g., confidence, entropy, loss, and hidden layer vectors) from the reference model to train an attack model, overcoming limitations of individual features. Extensive experiments on extended datasets (Last.FM, MovieLens, Book-Crossing, Delicious) and diverse LLMs (T5, GPT-2, LLaMA3) demonstrate that our approach significantly outperforms shadow model-based MIAs and individual-feature baselines. The results show its practicality for privacy attacks in LLM-driven recommender systems.
- Abstract(参考訳): メンバーシップ推論攻撃(MIA)は、特定のデータサンプルがターゲットモデルのトレーニングデータセットに含まれているかどうかを判断することを目的としている。
従来のMIAアプローチは、ターゲットモデルの振る舞いを模倣するシャドーモデルに依存していたが、訓練データのスケールと複雑さのため、LLM(Large Language Model)ベースのレコメンデーションシステムでは効果が低下する。
本稿では, LLMに基づくレコメンデーションシステムに適した知識蒸留に基づくMIAパラダイムを提案する。
本手法は, 蒸留による参照モデルを構築し, 識別能力を高めるために, 会員データと非会員データの異なる戦略を適用した。
このパラダイムは、参照モデルから融合した特徴(例えば、信頼、エントロピー、損失、隠された層ベクトル)を抽出し、個々の特徴の限界を克服する攻撃モデルを訓練する。
拡張データセット(Last.FM, MovieLens, Book-Crossing, Delicious)と多種多様なLCM(T5, GPT-2, LLaMA3)の広範な実験により,我々のアプローチが影モデルに基づくMIAと個々の特徴ベースラインを著しく上回ることを示した。
その結果,LDM駆動型レコメンデータシステムにおけるプライバシ攻撃の実用性を示した。
関連論文リスト
- LLM4MEA: Data-free Model Extraction Attacks on Sequential Recommenders via Large Language Models [50.794651919028965]
近年の研究では、モデル抽出攻撃(MEA)に対するシーケンシャルレコメンデータシステムの脆弱性が実証されている。
事前のMEAにおけるブラックボックス攻撃は、データ選択のランダムサンプリングによるレコメンデータシステムの脆弱性を明らかにするのに効果がない。
LLM4MEAは,Large Language Models (LLMs) を人間のようなランク付けとして活用してデータを生成する新しいモデル抽出法である。
論文 参考訳(メタデータ) (2025-07-22T19:20:23Z) - Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。
提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
論文 参考訳(メタデータ) (2025-04-02T20:33:27Z) - EM-MIAs: Enhancing Membership Inference Attacks in Large Language Models through Ensemble Modeling [2.494935495983421]
本稿では,XGBoostをベースとしたモデルに既存のMIA技術を統合し,全体的な攻撃性能(EM-MIAs)を向上させる新しいアンサンブル攻撃法を提案する。
実験結果から,アンサンブルモデルではAUC-ROCと精度が,大規模言語モデルやデータセットを対象とする個別攻撃法と比較して有意に向上していることがわかった。
論文 参考訳(メタデータ) (2024-12-23T03:47:54Z) - SELF: Surrogate-light Feature Selection with Large Language Models in Deep Recommender Systems [51.09233156090496]
ディープレコメンデータシステムのためのSurrogatE-Light特徴選択法
SELFは、大規模言語モデルからのセマンティック推論と、代理モデルからのタスク固有の学習を統合する。
実世界のレコメンデータプラットフォームからの3つの公開データセットに関する総合的な実験は、SELFの有効性を検証する。
論文 参考訳(メタデータ) (2024-12-11T16:28:18Z) - Order of Magnitude Speedups for LLM Membership Inference [5.124111136127848]
大規模言語モデル(LLM)は、コンピューティングを広く革新させるという約束を持っているが、その複雑さと広範なトレーニングデータもまた、プライバシの脆弱性を露呈している。
LLMに関連する最も単純なプライバシーリスクの1つは、メンバーシップ推論攻撃(MIA)に対する感受性である。
文書がモデルのトレーニングセットに属しているか否かを判断するために,小さな量子レグレッションモデルのアンサンブルを利用する低コストMIAを提案する。
論文 参考訳(メタデータ) (2024-09-22T16:18:14Z) - Knowledge Distillation-Based Model Extraction Attack using GAN-based Private Counterfactual Explanations [1.6576983459630268]
本稿では,ML プラットフォーム内で MEA を実行する上で,モデル説明,特に非現実的説明をどのように活用できるかを検討することに注力する。
本稿では,代替モデルの抽出効率を高めるため,知識蒸留(KD)に基づくMEAの新しいアプローチを提案する。
また,差分プライバシー(DP)の有効性を緩和戦略として評価した。
論文 参考訳(メタデータ) (2024-04-04T10:28:55Z) - MIA-BAD: An Approach for Enhancing Membership Inference Attack and its
Mitigation with Federated Learning [6.510488168434277]
メンバシップ推論攻撃(MIA)は、機械学習(ML)モデルのプライバシを妥協するための一般的なパラダイムである。
バッチ・ワイズ・アサート・データセット(MIA-BAD)を用いた強化されたメンバーシップ推論攻撃を提案する。
FLを用いたMLモデルのトレーニング方法を示すとともに,提案したMIA-BADアプローチによる脅威をFLアプローチで緩和する方法について検討する。
論文 参考訳(メタデータ) (2023-11-28T06:51:26Z) - On Learning to Summarize with Large Language Models as References [101.79795027550959]
大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。
より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
論文 参考訳(メタデータ) (2023-05-23T16:56:04Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z) - Data and Model Dependencies of Membership Inference Attack [13.951470844348899]
我々は、データとMLモデル特性の両方がMIAに対するML手法の脆弱性に与える影響を実証分析する。
この結果から,MIAの精度とデータセットの特性と使用中のトレーニングモデルとの関係が明らかになった。
我々は,これらのデータとモデル特性をレギュレータとして利用し,MLモデルをMIAに対して保護することを提案する。
論文 参考訳(メタデータ) (2020-02-17T09:35:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。