論文の概要: Toward Efficient Membership Inference Attacks against Federated Large Language Models: A Projection Residual Approach

• arxiv url: http://arxiv.org/abs/2604.21197v1
• Date: Thu, 23 Apr 2026 01:44:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.232859
• Title: Toward Efficient Membership Inference Attacks against Federated Large Language Models: A Projection Residual Approach
• Title（参考訳）: フェデレーション型大規模言語モデルに対する効率的なメンバーシップ推論攻撃に向けて:予測残差アプローチ
• Authors: Guilin Deng, Silong Chen, Yuchuan Luo, Yi Liu, Songlei Wang, Zhiping Cai, Lin Liu, Xiaohua Jia, Shaojing Fu,
• Abstract要約: Federated Large Language Models (FedLLMs) は、複数のパーティが生データを共有することなく、協調的にLLMを微調整することができる。 FedLLMsの特異な性質、すなわち、巨大なパラメータスケール、急速な収束、スパースな非直交勾配は、既存のMIAsを非効率にする。 提案するProjResは,FedLLMsに適したプロジェクション残差型受動MIAである。
• 参考スコア（独自算出の注目度）: 44.738736515079346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Large Language Models (FedLLMs) enable multiple parties to collaboratively fine-tune LLMs without sharing raw data, addressing challenges of limited resources and privacy concerns. Despite data localization, shared gradients can still expose sensitive information through membership inference attacks (MIAs). However, FedLLMs' unique properties, i.e. massive parameter scales, rapid convergence, and sparse, non-orthogonal gradients, render existing MIAs ineffective. To address this gap, we propose ProjRes, the first projection residuals-based passive MIA tailored for FedLLMs. ProjRes leverages hidden embedding vectors as sample representations and analyzes their projection residuals on the gradient subspace to uncover the intrinsic link between gradients and inputs. It requires no shadow models, auxiliary classifiers, or historical updates, ensuring efficiency and robustness. Experiments on four benchmarks and four LLMs show that ProjRes achieves near 100% accuracy, outperforming prior methods by up to 75.75%, and remains effective even under strong differential privacy defenses. Our findings reveal a previously overlooked privacy vulnerability in FedLLMs and call for a re-examination of their security assumptions. Our code and data are available at $\href{https://anonymous.4open.science/r/Passive-MIA-5268}{link}$.
• Abstract（参考訳）: Federated Large Language Models (FedLLMs) は、複数のパーティが生データを共有せずにLLMを微調整し、限られたリソースとプライバシの問題に対処できるようにする。 データローカライゼーションにも拘わらず、共有勾配はメンバーシップ推論攻撃(MIA)を通じて機密情報を公開することができる。 しかし、FedLLMsのユニークな性質、すなわち、パラメータスケール、急激収束、スパース、非直交勾配は、既存のMIAsを非効率にする。 このギャップに対処するため、FedLLMsに適したプロジェクション残差に基づく最初のMIAであるProjResを提案する。 ProjResは、隠れた埋め込みベクトルをサンプル表現として利用し、勾配部分空間上の射影残差を分析して、勾配と入力の間の固有のリンクを明らかにする。 シャドーモデル、補助分類器、過去の更新は必要とせず、効率性と堅牢性を確保する。 4つのベンチマークと4つのLCMの実験により、ProjResは100%近い精度で達成され、従来の手法よりも75.75%向上し、強力な差分プライバシー保護の下でも有効であることが示されている。 われわれの調査によると、FedLLMsのプライバシーの脆弱性がこれまで見過ごされていたことが判明し、セキュリティ上の前提を再検討するよう求めている。 私たちのコードとデータは$\href{https://anonymous.4open.science/r/Passive-MIA-5268}{link}$で利用可能です。

関連論文リスト

• G-Drift MIA: Membership Inference via Gradient-Induced Feature Drift in LLMs [1.8986796884429726]
  メンバーシップ推論攻撃(MIA)は、トレーニング中に特定の例が使用されたかどうかを判断することを目的としている。 G-Drift MIAは,勾配誘起特徴量ドリフトに基づくホワイトボックスメンバシップ推論手法である。 G-Driftは信頼性ベース、パープレキシティベース、参照ベースアタックを大きく上回る。
  論文  参考訳（メタデータ） (2026-04-01T03:01:27Z)
• PerProb: Indirectly Evaluating Memorization in Large Language Models [13.905375956316632]
  LLM脆弱性を間接的に評価するためのラベルフリーフレームワークであるPerProbを提案する。 PerProbは、被害者モデルと敵対モデルによって生成されたデータ間の難易度と平均ログ確率の変化を評価する。 PerProbの有効性を5つのデータセットで評価し、さまざまなメモリ挙動とプライバシリスクを明らかにした。
  論文  参考訳（メタデータ） (2025-12-16T17:10:01Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• LLM4MEA: Data-free Model Extraction Attacks on Sequential Recommenders via Large Language Models [50.794651919028965]
  近年の研究では、モデル抽出攻撃(MEA)に対するシーケンシャルレコメンデータシステムの脆弱性が実証されている。 事前のMEAにおけるブラックボックス攻撃は、データ選択のランダムサンプリングによるレコメンデータシステムの脆弱性を明らかにするのに効果がない。 LLM4MEAは,Large Language Models (LLMs) を人間のようなランク付けとして活用してデータを生成する新しいモデル抽出法である。
  論文  参考訳（メタデータ） (2025-07-22T19:20:23Z)
• Depth Gives a False Sense of Privacy: LLM Internal States Inversion [17.639108495452785]
  大きな言語モデル(LLM)は、日々のルーチンにますます統合されていますが、プライバシと安全性の懸念を生じさせています。 近年の研究では、データの局所性を確保するために、初期層推論をアウトソースする協調推論が提案されている。 逆入力の意味的類似性とトークンマッチング率を大幅に向上させる4つの逆攻撃を提案する。
  論文  参考訳（メタデータ） (2025-07-22T09:15:11Z)
• SOFT: Selective Data Obfuscation for Protecting LLM Fine-tuning against Membership Inference Attacks [17.77094760401298]
  メンバーシップ推論攻撃(MIA)に対する微調整大言語モデルの脆弱性について検討する。 プライバシー保護とプライバシー保護のバランスをとるために,影響のあるデータ選択を調整可能なパラメータで活用することで,プライバシーの漏洩を緩和する新しい防衛手法であるSOFTを提案する。
  論文  参考訳（メタデータ） (2025-06-12T07:23:56Z)
• Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
  協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。 近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。 この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。 そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-01T07:15:21Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。