論文の概要: Gradient Inversion Attacks on Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2506.04453v1
• Date: Wed, 04 Jun 2025 21:14:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.427773
• Title: Gradient Inversion Attacks on Parameter-Efficient Fine-Tuning
• Title（参考訳）: パラメータ効率の良いファインチューニングにおけるグラディエント・インバージョン・アタック
• Authors: Hasin Us Sami, Swapneel Sen, Amit K. Roy-Chowdhury, Srikanth V. Krishnamurthy, Basak Guler,
• Abstract要約: フェデレートラーニング(FL)は、複数のデータ所有者が局所的な勾配を交換することで、機械学習モデルを協調的にトレーニングすることを可能にする。 近年,大規模事前学習モデルのパラメータ効率細調整(PEFT)がFLにおいて顕著に注目されている。 本研究では,ユーザの微調整データのプライバシを,事前訓練されたモデルとトレーニング可能なアダプタモジュールの悪意ある設計により妥協する方法について検討する。
• 参考スコア（独自算出の注目度）: 25.434223317282274
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated learning (FL) allows multiple data-owners to collaboratively train machine learning models by exchanging local gradients, while keeping their private data on-device. To simultaneously enhance privacy and training efficiency, recently parameter-efficient fine-tuning (PEFT) of large-scale pretrained models has gained substantial attention in FL. While keeping a pretrained (backbone) model frozen, each user fine-tunes only a few lightweight modules to be used in conjunction, to fit specific downstream applications. Accordingly, only the gradients with respect to these lightweight modules are shared with the server. In this work, we investigate how the privacy of the fine-tuning data of the users can be compromised via a malicious design of the pretrained model and trainable adapter modules. We demonstrate gradient inversion attacks on a popular PEFT mechanism, the adapter, which allow an attacker to reconstruct local data samples of a target user, using only the accessible adapter gradients. Via extensive experiments, we demonstrate that a large batch of fine-tuning images can be retrieved with high fidelity. Our attack highlights the need for privacy-preserving mechanisms for PEFT, while opening up several future directions. Our code is available at https://github.com/info-ucr/PEFTLeak.
• Abstract（参考訳）: フェデレーション・ラーニング(FL)は、複数のデータ所有者がローカル勾配を交換し、プライベートデータをデバイス上で保持することで、機械学習モデルを協調的にトレーニングすることを可能にする。 プライバシとトレーニング効率を同時に向上させるため、最近、大規模事前訓練モデルのパラメータ効率の高い微調整(PEFT)がFLで注目されている。 事前トレーニングされた(バックボーン)モデルを凍結させながら、各ユーザは、特定の下流アプリケーションに適合するために、一緒に使用するいくつかの軽量モジュールのみを微調整する。 したがって、これらの軽量モジュールに対する勾配のみがサーバと共有される。 本研究では,事前訓練されたモデルとトレーニング可能なアダプタモジュールの悪意ある設計により,ユーザの微調整データのプライバシを侵害する方法について検討する。 我々は,攻撃者がターゲットユーザのローカルデータサンプルを,アクセス可能なアダプタ勾配のみを用いて再構成できる,人気のあるPEFT機構であるアダプタに対する勾配反転攻撃を実証する。 広範にわたる実験により,高忠実度で大量の微調整画像を検索できることが実証された。 我々の攻撃は、PEFTのプライバシー保護メカニズムの必要性を強調しつつ、いくつかの今後の方向性を明らかにしている。 私たちのコードはhttps://github.com/info-ucr/PEFTLeak.comで公開されています。

関連論文リスト

• CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling [63.07948989346385]
  フェデレーション学習は、グローバルサーバ上でニューラルネットワークを協調的にトレーニングする。 各ローカルクライアントは、現在のグローバルモデルウェイトを受信し、そのローカルプライベートデータに基づいてパラメータ更新(グラディエント)を返送する。 既存の勾配反転攻撃は、クライアントの勾配ベクトルからプライベートトレーニングインスタンスを復元するためにこの脆弱性を利用することができる。 本稿では,大規模ニューラルネットワークモデルに適した新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T01:06:23Z)
• BAFFLE: A Baseline of Backpropagation-Free Federated Learning [71.09425114547055]
  フェデレートラーニング(FL)は、分散クライアントがローカルデータを共有せずにサーバモデルをまとめて訓練する一般的な原則である。 我々は、バックプロパゲーションを複数のフォワードプロセスに置き換えて勾配を推定する、BAFFLEと呼ばれる、バックプロパゲーションフリーなフェデレーション学習を開発する。 BAFFLEは、1)メモリ効率が高く、アップロード帯域幅に適しており、2)推論のみのハードウェア最適化とモデル量子化やプルーニングと互換性があり、3)信頼できる実行環境に適している。
  論文  参考訳（メタデータ） (2023-01-28T13:34:36Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Fishing for User Data in Large-Batch Federated Learning via Gradient Magnification [65.33308059737506]
  フェデレートラーニング(FL)は、プライバシーと効率性の約束により急速に人気が高まっている。 これまでの作業では、勾配更新からユーザデータを復元することで、FLパイプラインのプライバシの脆弱性が露呈されていた。 我々は、任意のサイズのバッチで運用するために、既存の攻撃を劇的に高める新しい戦略を導入する。
  論文  参考訳（メタデータ） (2022-02-01T17:26:11Z)
• When the Curious Abandon Honesty: Federated Learning Is Not Private [36.95590214441999]
  フェデレーション・ラーニング(FL)では、データは機械学習モデルを共同で訓練しているときに個人デバイスを離れない。 我々は、アクティブで不正直な中央組織が受信した勾配からユーザデータを効率的に抽出できる新しいデータ再構成攻撃を示す。
  論文  参考訳（メタデータ） (2021-12-06T10:37:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。