論文の概要: Reconstructing Training Data from Adapter-based Federated Large Language Models

• arxiv url: http://arxiv.org/abs/2601.17533v1
• Date: Sat, 24 Jan 2026 17:15:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.907861
• Title: Reconstructing Training Data from Adapter-based Federated Large Language Models
• Title（参考訳）: 適応型Federated Large Language Modelからの学習データ再構成
• Authors: Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia,
• Abstract要約: 低ランクアダプタは、新しい、悪用可能なリークチャネルを生成する。 我々は、アダプタベースのFedLLMのユニークな構造に合わせて、unordered-word-based Text Reconstruction (UTR)攻撃を提案する。
• 参考スコア（独自算出の注目度）: 28.583571306465306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapter-based Federated Large Language Models (FedLLMs) are widely adopted to reduce the computational, storage, and communication overhead of full-parameter fine-tuning for web-scale applications while preserving user privacy. By freezing the backbone and training only compact low-rank adapters, these methods appear to limit gradient leakage and thwart existing Gradient Inversion Attacks (GIAs). Contrary to this assumption, we show that low-rank adapters create new, exploitable leakage channels. We propose the Unordered-word-bag-based Text Reconstruction (UTR) attack, a novel GIA tailored to the unique structure of adapter-based FedLLMs. UTR overcomes three core challenges: low-dimensional gradients, frozen backbones, and combinatorially large reconstruction spaces by: (i) inferring token presence from attention patterns in frozen layers, (ii) performing sentence-level inversion within the low-rank subspace of adapter gradients, and (iii) enforcing semantic coherence through constrained greedy decoding guided by language priors. Extensive experiments across diverse models (GPT2-Large, BERT, Qwen2.5-7B) and datasets (CoLA, SST-2, Rotten Tomatoes) demonstrate that UTR achieves near-perfect reconstruction accuracy (ROUGE-1/2 > 99), even with large batch size settings where prior GIAs fail completely. Our results reveal a fundamental tension between parameter efficiency and privacy in FedLLMs, challenging the prevailing belief that lightweight adaptation inherently enhances security. Our code and data are available at https://github.com/shwksnshwowk-wq/GIA.
• Abstract（参考訳）: Adapter-based Federated Large Language Models (FedLLMs) は、ユーザのプライバシを維持しながら、Webスケールアプリケーションのフルパラメータ細調整の計算、ストレージ、通信オーバーヘッドを低減するために広く採用されている。 バックボーンを凍結し、コンパクトな低ランクアダプタのみを訓練することにより、これらの手法は勾配リークを制限し、既存のグラディエント・インバージョン・アタック(GIA)を回避しているように見える。 この仮定とは対照的に、低ランクアダプタは新たな、悪用可能な漏洩チャネルを生成する。 我々は、アダプタベースのFedLLMのユニークな構造に合わせた新しいGIAである、unordered-word-bag-based Text Reconstruction (UTR)攻撃を提案する。 UTRは、低次元勾配、凍結したバックボーン、および組合せ的に大きな再構成空間の3つの主要な課題を克服する。 (i)凍結層の注意パターンからトークンの存在を推定すること。 二 アダプタ勾配の低ランク部分空間内で文レベルの反転を行うこと、及び 三 言語先行詞による制約付き欲求復号による意味的コヒーレンスを強制すること。 多様なモデル (GPT2-Large, BERT, Qwen2.5-7B) とデータセット (CoLA, SST-2, Rotten Tomatoes) にまたがる広範囲な実験により、以前のGIAが完全に失敗する大規模なバッチサイズ設定であっても、UTRがほぼ完全な再構築精度 (ROUGE-1/2 > 99) を達成することを示した。 この結果から,FedLLMsにおけるパラメータ効率とプライバシの基本的な緊張関係が明らかとなり,軽量適応が本質的にセキュリティを向上するという考えに疑問が呈される。 私たちのコードとデータはhttps://github.com/shwksnshwowk-wq/GIA.comで公開されています。

関連論文リスト

• TuckA: Hierarchical Compact Tensor Experts for Efficient Fine-Tuning [83.93651411533533]
  4つのキー特性を持つTucker Adaptation(TuckA)を導入する。 我々は,ルータのパラメータサイズを$L$の係数で削減する,効率的なバッチレベルルーティング機構を開発した。 自然言語理解、画像分類、数学的推論におけるベンチマーク実験は、TuckAの有効性を物語っている。
  論文  参考訳（メタデータ） (2025-11-10T09:03:16Z)
• Gradients as an Action: Towards Communication-Efficient Federated Recommender Systems via Adaptive Action Sharing [20.859681936059417]
  本稿では,Federated Recommender Systems (FedRecs) フレームワークであるFedRASについて述べる。 良く知られたデータセットの実験により、FedRASは通信ペイロードのサイズを96.88%まで削減できることを示した。
  論文  参考訳（メタデータ） (2025-07-08T03:24:54Z)
• RGE-GS: Reward-Guided Expansive Driving Scene Reconstruction via Diffusion Priors [54.81109375939306]
  RGE-GSは、拡散に基づく生成と報酬誘導ガウス積分を相乗化する新しい拡張的再構築フレームワークである。 本稿では,復元フェーズに先立って一貫したパターンを識別・優先順位付けする報奨ネットワークを提案する。 復元過程において,シーン収束度に応じてガウス最適化の進捗を自動的に調整する学習戦略を考案した。
  論文  参考訳（メタデータ） (2025-06-28T08:02:54Z)
• Verifiably Forgotten? Gradient Differences Still Enable Data Reconstruction in Federated Unlearning [12.13642771298657]
  Federated Unlearning(FU)は、データプライバシ規制の重要なコンプライアンスメカニズムとして登場した。 本稿では,新しい学習ベース再構築攻撃フレームワークであるForgotten Data (IGF) のグラディエント差分を変換する手法を提案する。 IGFは、構造的およびセマンティックなキューの両方をキャプチャする複合的な損失によって最適化された、調整されたピクセルレベルの逆変換モデルを組み込んでいる。
  論文  参考訳（メタデータ） (2025-05-16T10:28:30Z)
• ReCIT: Reconstructing Full Private Data from Gradient in Parameter-Efficient Fine-Tuning of Large Language Models [45.10098466182961]
  ReCITは、PEFTグラデーションから高忠実度でEmphfullプライベートデータのリカバリを実現する、新たなプライバシ攻撃である。 それは、異なるPEFTパラダイムにわたる最先端の記憶と反転ベースの攻撃を一貫して上回る。
  論文  参考訳（メタデータ） (2025-04-29T09:23:19Z)
• GI-NAS: Boosting Gradient Inversion Attacks Through Adaptive Neural Architecture Search [52.27057178618773]
  グラディエント・インバージョン・アタック (Gradient Inversion Attacks) は、Federated Learning (FL) システムの伝達勾配を反転させ、ローカルクライアントの機密データを再構築する。 勾配反転法の大半は明示的な事前知識に大きく依存しており、現実的なシナリオでは利用できないことが多い。 本稿では,ニューラルネットワークを適応的に探索し,ニューラルネットワークの背後にある暗黙の先行情報をキャプチャするニューラルアーキテクチャ探索(GI-NAS)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T09:29:43Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Fishing for User Data in Large-Batch Federated Learning via Gradient Magnification [65.33308059737506]
  フェデレートラーニング(FL)は、プライバシーと効率性の約束により急速に人気が高まっている。 これまでの作業では、勾配更新からユーザデータを復元することで、FLパイプラインのプライバシの脆弱性が露呈されていた。 我々は、任意のサイズのバッチで運用するために、既存の攻撃を劇的に高める新しい戦略を導入する。
  論文  参考訳（メタデータ） (2022-02-01T17:26:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。