論文の概要: From Efficiency to Leakage -- Privacy Backdoor in Federated Language Model Fine-Tuning

• arxiv url: http://arxiv.org/abs/2606.20553v1
• Date: Thu, 18 Jun 2026 17:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:40.050687
• Title: From Efficiency to Leakage -- Privacy Backdoor in Federated Language Model Fine-Tuning
• Title（参考訳）: 効率から漏洩へ - フェデレーション言語モデルファインチューニングにおけるプライバシバックドア
• Authors: Shanghao Shi, Chaoyu Zhang, Heng Jin, Yang Xiao, Yevgeniy Vorobeychik, William Yeoh, Ning Zhang, Y. Thomas Hou, Wenjing Lou,
• Abstract要約: フェデレートラーニング(FL)は、複数のパーティが、生データを共有することなく、ドメイン固有のタスクに対して、協調的にきめ細やかな言語モデルを構築することを可能にする。 FLクライアントではフルモデルファインチューニングが禁止されることが多いため、パラメータ効率のファインチューニング(PEFT)が事実上のアプローチとなっている。 悪意のあるパラメータサーバは、PEFTアダプタを秘密裏に悪用し、クライアントのトレーニングサンプルを暗黙的に記憶する。
• 参考スコア（独自算出の注目度）: 37.29543339490437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) enables multiple parties to collaboratively fine-tune language models for domain-specific tasks without sharing raw data. Since full model fine-tuning is often prohibitively expensive for FL clients, parameter-efficient fine-tuning (PEFT) has become the de facto approach in practice, freezing the base model and training only a small set of adapters. In this paper, we show that a malicious parameter server can stealthily corrupt a PEFT adapter into a privacy backdoor that implicitly memorizes the client's training samples as isolated per-sample parameter updates stored in separate neurons, without degrading model utility. Concretely, our attack, NeuroImprint, assigns a dedicated memorization neuron to each training sample and constrains that each neuron is updated at most once along the local fine-tuning trajectory. This design mitigates both cross-sample collisions and cross-step mixing introduced by large local batches and stateful optimizers (e.g., Adam/AdamW) in language-model fine-tuning. After fine-tuning, the resulting isolated per-sample updates can be analytically inverted in closed form to recover text embeddings, which are then deterministically mapped back to token sequences. To understand the generality of our method, we implemented NeuroImprint on multiple language models (BERT, GPT-2, Qwen2, and Llama3.2) and evaluated it across four fine-tuning datasets spanning diverse domains. The results demonstrate that our attack can reconstruct 59% to 79% of all finetuning samples with high semantic fidelity.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のパーティが、生データを共有することなく、ドメイン固有のタスクに対して、協調的にきめ細やかな言語モデルを構築することを可能にする。 FLクライアントではフルモデルファインチューニングが禁止されることが多いため、パラメータ効率の良いファインチューニング(PEFT)が事実上のアプローチとなり、ベースモデルを凍結し、少数のアダプタのみを訓練している。 本稿では,悪意のあるパラメータサーバがPEFTアダプタをプライバシバックドアに盗み込み,モデルの有用性を損なうことなく,独立したニューロンに格納されたサンプル単位のパラメータ更新としてクライアントのトレーニングサンプルを暗黙的に記憶することができることを示す。 具体的には、我々の攻撃であるNeuroImprintは、各トレーニングサンプルに専用の記憶ニューロンを割り当て、各ニューロンが局所的な微調整軌道に沿って最大1回更新されることを制約します。 この設計は、言語モデルの微調整において、大規模なローカルバッチとステートフル最適化器(例えばAdam/AdamW)によって導入されたクロスサンプル衝突とクロスステップ混合の両方を緩和する。 微調整後、結果として分離されたサンプルごとの更新はクローズドな形で解析的に逆転し、テキストの埋め込みを復元し、決定論的にトークンシーケンスにマッピングする。 提案手法の汎用性を理解するため,複数の言語モデル(BERT, GPT-2, Qwen2, Llama3.2)にNeuroImprintを実装し,様々な領域にまたがる4つの微調整データセットで評価した。 以上の結果から,本攻撃はすべての微調整標本の59%から79%を高い意味的忠実度で再構成できることが示唆された。

関連論文リスト

• FLRSP: Privacy-Preserving Federated Learning Using Randomly Selected Model Parameters [1.2744523252873348]
  高品質なディープニューラルネットワーク(DNN)モデルは、一般的に大量のトレーニングデータを必要とする。 モデルトレーニングは、機密情報や個人情報を扱う際のプライバシー上の懸念を高める。 本稿では,ランダムに選択されたモデルパラメータを用いてグローバルモデルを更新する,プライバシ保護型フェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2026-05-02T02:43:42Z)
• Decentralized Privacy-Preserving Federal Learning of Computer Vision Models on Edge Devices [0.0]
  機械学習モデルの協調トレーニングには、機密データやプライベートデータを共有するリスクが伴う。 フェデレーション学習は、クライアントデータを共有することなく、単一のグローバルモデルを集合的にトレーニングする方法を提供する。 分類に用いる畳み込みニューラルネットワークの精度に及ぼす勾配圧縮と勾配雑音の負の効果を解析した。
  論文  参考訳（メタデータ） (2026-01-08T13:10:33Z)
• SPIRE: Conditional Personalization for Federated Diffusion Generative Models [7.8583640700306585]
  Shared Backbone Personal Identity Representation Embeddings (SPIRE)は、FLで条件付き生成としてクライアント拡散ベースの生成をキャストするフレームワークである。 SPIREは、ネットワークを(i)人口レベルのスコア関数を学習する高容量なグローバルバックボーンと、(ii)ローカルデータ統計を符号化する軽量で学習可能なクライアント埋め込みに分解する。 我々の分析は、クライアントの埋め込みが共有スコアネットワークをパーソナライズするバイアスとしてどのように振舞うかを示唆している。
  論文  参考訳（メタデータ） (2025-06-14T01:40:31Z)
• FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update [0.27309692684728615]
  フェデレートラーニング(PFL)は、高ボリュームの非IDクライアントデータを処理するために、IoTアプリケーションに広く使用されている。 FedSPUはFederated Dropoutを平均7.57%上回っている。 早期停止方式を導入し、高精度を維持しながらトレーニング時間を24.8%から70.4%削減した。
  論文  参考訳（メタデータ） (2024-03-18T04:31:38Z)
• Pluggable Neural Machine Translation Models via Memory-augmented Adapters [25.26982333390014]
  プリトレーニングされたNMTモデルをプラガブルな方法でステアリングするためのメモリ拡張アダプタを提案する。 具体的には,ユーザが提供するテキストサンプルに基づいて,多粒性メモリを構築する。 また,NMTモデルとメモリ間の素早い依存関係を低減するため,メモリドロップアウトを用いたトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:23:41Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• CrowdGuard: Federated Backdoor Detection in Federated Learning [39.58317527488534]
  本稿では,フェデレートラーニングにおけるバックドア攻撃を効果的に軽減する新しい防御機構であるCrowdGuardを提案する。 CrowdGuardでは、サーバロケーションのスタック化されたクラスタリングスキームを使用して、クライアントからのフィードバックに対するレジリエンスを高めている。 評価結果は、CrowdGuardがさまざまなシナリオで100%正の正の正の正の負の負の負の値を達成することを示す。
  論文  参考訳（メタデータ） (2022-10-14T11:27:49Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。