論文の概要: FedSpy-LLM: Towards Scalable and Generalizable Data Reconstruction Attacks from Gradients on LLMs

• arxiv url: http://arxiv.org/abs/2604.06297v1
• Date: Tue, 07 Apr 2026 17:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.160341
• Title: FedSpy-LLM: Towards Scalable and Generalizable Data Reconstruction Attacks from Gradients on LLMs
• Title（参考訳）: FedSpy-LLM: LLM上のグラディエントからのスケーラブルで一般化可能なデータ再構成攻撃を目指して
• Authors: Syed Irfan Ali Meerza, Feiyi Wang, Jian Liu,
• Abstract要約: FedSpy-LLMはスケーラブルで一般化可能なデータ再構成攻撃であり、より大きなバッチサイズと長いシーケンスでトレーニングデータを再構築するように設計されている。 FedSpy-LLMの中核は、勾配の階数不足と部分空間構造を利用する新しい勾配分解戦略である。
• 参考スコア（独自算出の注目度）: 6.64107540070383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given the growing reliance on private data in training Large Language Models (LLMs), Federated Learning (FL) combined with Parameter-Efficient Fine-Tuning (PEFT) has garnered significant attention for enhancing privacy and efficiency. Despite FL's privacy benefits, prior studies have shown that private data can still be extracted from shared gradients. However, these studies, mainly on full-parameter model training, are limited to reconstructing small batches, short input sequences, and specific model architectures, such as encoder-based or decoder-based models. The reconstruction quality becomes even worse when dealing with gradients from PEFT methods. To fully understand the practical attack surface of federated LLMs, this paper proposes FedSpy-LLM, a scalable and generalizable data reconstruction attack designed to reconstruct training data with larger batch sizes and longer sequences while generalizing across diverse model architectures, even when PEFT methods are deployed for training. At the core of FedSpy-LLM is a novel gradient decomposition strategy that exploits the rank deficiency and subspace structure of gradients, enabling efficient token extraction while preserving key signal components at scale. This approach further mitigates the reconstruction challenges introduced by PEFT's substantial null space, ensuring robustness across encoder-based, decoder-based, and encoder-decoder model architectures. Additionally, by iteratively aligning each token's partial-sequence gradient with the full-sequence gradient, FedSpy-LLM ensures accurate token ordering in reconstructed sequences.
• Abstract（参考訳）: LLM(Large Language Models)のトレーニングにおけるプライベートデータへの依存度が高まる中、フェデレートラーニング(Federated Learning, FL)とパラメータ効率の良いファインチューニング(PEFT)が組み合わさって、プライバシと効率の向上に大きな注目を集めている。 FLのプライバシー上の利点にもかかわらず、以前の研究では、プライベートデータは共有勾配から抽出可能であることが示されている。 しかし、これらの研究は主にフルパラメータモデルのトレーニングであり、小さなバッチ、短い入力シーケンス、エンコーダベースのモデルやデコーダベースのモデルのような特定のモデルアーキテクチャの再構築に限られている。 PEFT法からの勾配処理では, 復元品質がさらに悪化する。 本稿では,FedSpy-LLMを提案する。FedSpy-LLMは,多種多様なモデルアーキテクチャを対象とし,PEFT法をトレーニング用に展開した場合でも,より大きなバッチサイズと長いシーケンスでトレーニングデータを再構築する。 FedSpy-LLMの中核は、勾配の階数不足と部分空間構造を利用して、キー信号成分を大規模に保存しながら効率的なトークン抽出を可能にする、新しい勾配分解戦略である。 このアプローチは、PEFTの実質的なヌル空間によってもたらされる再構成の課題をさらに軽減し、エンコーダベース、デコーダベース、エンコーダ-デコーダモデルアーキテクチャ間の堅牢性を保証する。 さらに、各トークンの部分シーケンス勾配を全シーケンス勾配に反復的に整列することにより、FedSpy-LLMは再構成シーケンスにおける正確なトークン順序付けを保証する。

関連論文リスト

• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• ARES: Scalable and Practical Gradient Inversion Attack in Federated Learning through Activation Recovery [73.8181449261685]
  Federated Learning(FL)は、モデルの更新を生データではなく共有することで、ユーザのプライバシ保護を目的としたコラボレーションモデルトレーニングを可能にする。 最近の研究によると、これらの共有更新は、勾配反転攻撃(GIA)を通じて、不注意にセンシティブなトレーニングデータを漏洩する可能性がある。
  論文  参考訳（メタデータ） (2026-03-18T11:40:44Z)
• Gradient Inversion Transcript: Leveraging Robust Generative Priors to Reconstruct Training Data from Gradient Leakage [3.012404329139943]
  Gradient Inversion Transcript (GIT) は、リークした勾配からトレーニングデータを再構成するための新しい生成手法である。 GITは、既存のメソッドを複数のデータセットで一貫して上回る。
  論文  参考訳（メタデータ） (2025-05-26T14:17:00Z)
• ReCIT: Reconstructing Full Private Data from Gradient in Parameter-Efficient Fine-Tuning of Large Language Models [45.10098466182961]
  ReCITは、PEFTグラデーションから高忠実度でEmphfullプライベートデータのリカバリを実現する、新たなプライバシ攻撃である。 それは、異なるPEFTパラダイムにわたる最先端の記憶と反転ベースの攻撃を一貫して上回る。
  論文  参考訳（メタデータ） (2025-04-29T09:23:19Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• CG-FedLLM: How to Compress Gradients in Federated Fune-tuning for Large Language Models [21.919883617413358]
  本研究では,Large-Language Models (LLMs) における通信効率向上のための圧縮勾配の革新的手法を提案する。 また、このプライバシー中心のフレームワークにおける信号対雑音比、圧縮率、ロバスト性に着目した一連の実験分析を行った。
  論文  参考訳（メタデータ） (2024-05-22T15:32:38Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。