論文の概要: ReCIT: Reconstructing Full Private Data from Gradient in Parameter-Efficient Fine-Tuning of Large Language Models
- arxiv url: http://arxiv.org/abs/2504.20570v1
- Date: Tue, 29 Apr 2025 09:23:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.823532
- Title: ReCIT: Reconstructing Full Private Data from Gradient in Parameter-Efficient Fine-Tuning of Large Language Models
- Title（参考訳）: ReCIT:大規模言語モデルのパラメータ効率の良い微調整における勾配からの完全プライベートデータ再構成
- Authors: Jin Xie, Ruishi He, Songze Li, Xiaojun Jia, Shouling Ji,
- Abstract要約: ReCITは、PEFTグラデーションから高忠実度でEmphfullプライベートデータのリカバリを実現する、新たなプライバシ攻撃である。
それは、異なるPEFTパラダイムにわたる最先端の記憶と反転ベースの攻撃を一貫して上回る。
- 参考スコア（独自算出の注目度）: 45.10098466182961
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Parameter-efficient fine-tuning (PEFT) has emerged as a practical solution for adapting large language models (LLMs) to custom datasets with significantly reduced computational cost. When carrying out PEFT under collaborative learning scenarios (e.g., federated learning), it is often required to exchange model updates (or gradients) across parties. These gradients, even with limited dimensions, can cause severe breach of data privacy. Recent works have shown that both contextual prefixes and personally identifiable information (PII) can be exposed through gradients. However, \emph{simultaneously} and \emph{accurately} recovering both components from the same training instance remains infeasible due to the following challenges: 1) limited number of PEFT parameters; 2) high-dimensional token spaces; and 3) large batch sizes. We propose ReCIT, a novel privacy attack that addresses all challenges, and achieves recovery of \emph{full} private data from PEFT gradients with high fidelity. Specifically, ReCIT proposes to enhance the memorization capability of the pre-trained model through malicious fine-tuning with Personal Notes; ReCIT also proposes a novel filter-based token extraction technique and a token pairing mechanism, to accurately reconstruct tokens from the training sequences with large batch sizes. Extensive evaluations show that ReCIT consistently outperforms state-of-the-art gradient inversion and memorization-based attacks across different PEFT paradigms. It achieves up to 10$\times$ higher PII recovery rates and remains effective across varying batch sizes, especially in settings where prefix reconstruction is intractable for conventional approaches. These findings highlight an urgent need to reassess the privacy guarantees of PEFT, especially in decentralized or shared training environments.
- Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は,大規模言語モデル(LLM)を計算コストを大幅に削減したカスタムデータセットに適用するための実用的なソリューションとして登場した。
協調学習シナリオ(フェデレーション学習など)の下でPEFTを実行する場合、当事者間でモデル更新(あるいは勾配)を交換する必要があることが多い。
これらの勾配は、次元が限られていても、データのプライバシーを著しく侵害する可能性がある。
近年の研究では、文脈的接頭辞と個人識別情報(PII)の両方が勾配を通して露出できることが示されている。
しかし、同じトレーニングインスタンスから両方のコンポーネントを復元する \emph{simultanely} と \emph{accurately} は、以下の課題のために実現不可能である。
1)PEFTパラメータの限られた数
2)高次元トークン空間,及び
3) 大きなバッチサイズ。
本稿では,すべての課題に対処し,PEFT勾配からのemph{full}プライベートデータの回復を実現する新しいプライバシ攻撃であるReCITを提案する。
特に、ReCITは、個人ノートによる悪質な微調整により、事前学習モデルの記憶能力を高めることを提案し、ReCITは、新しいフィルタベースのトークン抽出技術とトークンペアリング機構を提案し、大きなバッチサイズでトレーニングシーケンスからトークンを正確に再構築する。
大規模な評価では、ReCITは異なるPEFTパラダイムをまたいだ最先端の勾配反転と記憶に基づく攻撃を一貫して上回っている。
最大10$\times$高いPIIリカバリレートを実現し、特に従来のアプローチではプレフィックスの再構築が難解な環境では、さまざまなバッチサイズで有効である。
これらの知見はPEFTのプライバシー保証を再評価する緊急の必要性を浮き彫りにしている。
関連論文リスト
- Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models [2.3281513013731145]
特定のタスクのための微調整された大型言語モデル(LLM)は、不注意に記憶し、センシティブなトレーニングデータを漏洩する可能性があるため、プライバシのリスクをもたらす。
差分プライバシー(DP)は、これらのリスクを軽減するソリューションを提供するが、重大な計算とパフォーマンスのトレードオフをもたらす。
PEFT法は,パラメータを少なくし,プライバシリークを著しく低減しつつ,標準的な微調整に匹敵する性能を実現する。
論文 参考訳（メタデータ） (2024-11-24T13:17:36Z) - Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs [25.91643745340183]
大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。
これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。
LLMの堅牢かつ効率的なアンラーニングを可能にする新しいフレームワークであるLoKUを提案する。
論文 参考訳（メタデータ） (2024-08-13T04:18:32Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-14T17:59:51Z) - DPZero: Private Fine-Tuning of Language Models without Backpropagation [49.365749361283704]
DPZeroは、ほぼ次元に依存しない新しいゼロオーダーアルゴリズムである。
DPZeroのメモリ効率は、いくつかの下流タスクでプライベートに微調整されたRoBERTaとOPTで実証される。
論文 参考訳（メタデータ） (2023-10-14T18:42:56Z) - Mixed Precision Quantization to Tackle Gradient Leakage Attacks in
Federated Learning [1.7205106391379026]
フェデレートラーニング(FL)は、明示的なデータ共有を必要とせずに、多数の参加者の間で協調的なモデル構築を可能にする。
このアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。
特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
論文 参考訳（メタデータ） (2022-10-22T04:24:32Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳（メタデータ） (2022-04-02T09:50:19Z) - Fishing for User Data in Large-Batch Federated Learning via Gradient
Magnification [65.33308059737506]
フェデレートラーニング(FL)は、プライバシーと効率性の約束により急速に人気が高まっている。
これまでの作業では、勾配更新からユーザデータを復元することで、FLパイプラインのプライバシの脆弱性が露呈されていた。
我々は、任意のサイズのバッチで運用するために、既存の攻撃を劇的に高める新しい戦略を導入する。
論文 参考訳（メタデータ） (2022-02-01T17:26:11Z) - PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage [0.8029049649310213]
ニューラルネットワークの協調トレーニングは、異なるクライアント間で勾配情報を交換することで、分散データを活用する。
プライバシーを高めるために勾配摂動技術が提案されているが、モデル性能の低下、収束時間の増加、データ要求の増加といったコストが伴う。
任意のモデルアーキテクチャの汎用拡張として使用できるPRivacy EnhanCing mODulEであるPrepreCODEを紹介する。
論文 参考訳（メタデータ） (2021-08-10T14:43:17Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。