論文の概要: MineGrad: Gradient Inversion Attacks on LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2608.01521v1
• Date: Sun, 02 Aug 2026 22:18:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.264657
• Title: MineGrad: Gradient Inversion Attacks on LoRA Fine-Tuning
• Title（参考訳）: MineGrad: LoRAファインチューニングに対するグラディエント・インバージョンアタック
• Abstract要約: 本研究では,悪意のあるサーバが事前訓練されたモデルと微調整パラメータを利用して,プライベートなユーザデータを復元することを可能にする解析攻撃を提案する。 従来の作業とは異なり、我々の攻撃は言語タスクと視覚タスクの両方に適用可能であり、公開データセットで事前トレーニングする計算コスト(逆)に依存したり、LoRAモジュールよりも少ないトレーニングトークンの数を必要としない。
• 参考スコア（独自算出の注目度）: 11.852406625172216
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT), such as low-rank adaptation (LoRA), has recently been adopted in federated learning to reduce communication and computation costs. In this setup, users download a pretrained model from the server prior to fine-tuning, and then fine-tune lightweight LoRA modules locally while keeping the pretrained model frozen, sharing only the gradients of the fine-tuning parameters with the server. Despite its growing popularity, robustness of federated fine-tuning against an adversarial server remains underexplored, where the server maliciously tampers with the training protocol to breach the privacy of users' data. In this work, we investigate gradient inversion attacks on LoRA fine-tuning. We propose an analytical attack that enables a malicious server to recover private user data by leveraging a poisoned pretrained model and fine-tuning parameters. Our design embeds fine-tuning data within the shared gradients, to allow the server to analytically reconstruct user data. Unlike prior works, our attack is applicable to both language and vision tasks, does not rely on computationally expensive (adversarial) pretraining with public datasets or require the number of training tokens to be less than the rank of LoRA modules. Experimental results on both language and vision tasks demonstrate high-fidelity data recovery across multiple baselines, revealing several critical vulnerabilities.
• Abstract（参考訳）: 低ランク適応(LoRA)のようなパラメータ効率のよい微調整(PEFT)は、近年、コミュニケーションと計算コストを削減するために、フェデレートラーニングに採用されている。 このセットアップでは、ユーザーは、微調整の前にサーバーから事前訓練されたモデルをダウンロードし、その後ローカルで微調整された軽量LORAモジュールをフリーズし、微調整されたパラメータの勾配だけをサーバと共有する。 人気が高まっているにもかかわらず、敵サーバに対するフェデレートされた微調整の堅牢性は未熟であり、サーバーはトレーニングプロトコルを悪質に改ざんしてユーザのデータのプライバシーを侵害する。 本研究では,LoRA微調整における勾配反転攻撃について検討する。 本稿では,悪質なサーバが,有毒な事前学習モデルと微調整パラメータを利用すれば,プライベートなユーザデータを復元できる分析攻撃を提案する。 我々の設計では、サーバがユーザデータを解析的に再構築できるように、共有グラデーション内に微調整データを埋め込む。 従来の作業とは異なり、我々の攻撃は言語タスクと視覚タスクの両方に適用可能であり、公開データセットで事前トレーニングする計算コスト(逆)に依存したり、LoRAモジュールよりも少ないトレーニングトークンの数を必要としない。 言語と視覚の両方のタスクに関する実験結果は、複数のベースラインにまたがる高忠実なデータリカバリを示し、いくつかの重大な脆弱性を明らかにしている。

関連論文リスト

• Gradient Inversion Attacks on Parameter-Efficient Fine-Tuning [25.434223317282274]
  フェデレートラーニング(FL)は、複数のデータ所有者が局所的な勾配を交換することで、機械学習モデルを協調的にトレーニングすることを可能にする。 近年,大規模事前学習モデルのパラメータ効率細調整(PEFT)がFLにおいて顕著に注目されている。 本研究では,ユーザの微調整データのプライバシを,事前訓練されたモデルとトレーニング可能なアダプタモジュールの悪意ある設計により妥協する方法について検討する。
  論文  参考訳（メタデータ） (2025-06-04T21:14:21Z)
• FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates [58.18162789618869]
  フェデレートラーニング(FL)は、モデルを分散的にトレーニングするための広く使われているフレームワークである。 我々はFedRandフレームワークを提案し、クライアントパラメータの完全な集合を開示するのを避ける。 我々はFedRandがMIAに対するロバスト性を改善することを、関連するベースラインと比較して実証的に検証する。
  論文  参考訳（メタデータ） (2025-03-10T11:55:50Z)
• Safely Learning with Private Data: A Federated Learning Framework for Large Language Model [3.1077263218029105]
  フェデレートラーニング(FL)は、分散プライベートデータを用いたモデルのトレーニングに理想的なソリューションである。 FedAvgのような従来のフレームワークは、大きな言語モデル(LLM)には適さない 本稿では,サーバサイド攻撃とピアクライアント攻撃の両方によるデータ漏洩を防止するFL-GLMを提案する。
  論文  参考訳（メタデータ） (2024-06-21T06:43:15Z)
• A Stealthy Wrongdoer: Feature-Oriented Reconstruction Attack against Split Learning [14.110303634976272]
  Split Learning(SL)は、プライバシ保護機能と最小限の計算要件で有名な分散学習フレームワークである。 以前の研究は、トレーニングデータを再構築するサーバ敵によるSLシステムの潜在的なプライバシー侵害について、一貫して強調している。 本稿では,特徴指向再構築攻撃 (FORA) という,SL上での半正直なデータ再構成攻撃について紹介する。
  論文  参考訳（メタデータ） (2024-05-07T08:38:35Z)
• Robust Federated Learning Mitigates Client-side Training Data Distribution Inference Attacks [48.70867241987739]
  InferGuardは、クライアント側のトレーニングデータ分散推論攻撃に対する防御を目的とした、新しいビザンチン・ロバスト集約ルールである。 実験の結果,我々の防衛機構はクライアント側のトレーニングデータ分布推定攻撃に対する防御に極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T17:41:35Z)
• Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
  フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。 既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。 本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T07:04:48Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• BAFFLE: A Baseline of Backpropagation-Free Federated Learning [71.09425114547055]
  フェデレートラーニング(FL)は、分散クライアントがローカルデータを共有せずにサーバモデルをまとめて訓練する一般的な原則である。 我々は、バックプロパゲーションを複数のフォワードプロセスに置き換えて勾配を推定する、BAFFLEと呼ばれる、バックプロパゲーションフリーなフェデレーション学習を開発する。 BAFFLEは、1)メモリ効率が高く、アップロード帯域幅に適しており、2)推論のみのハードウェア最適化とモデル量子化やプルーニングと互換性があり、3)信頼できる実行環境に適している。
  論文  参考訳（メタデータ） (2023-01-28T13:34:36Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• When the Curious Abandon Honesty: Federated Learning Is Not Private [36.95590214441999]
  フェデレーション・ラーニング(FL)では、データは機械学習モデルを共同で訓練しているときに個人デバイスを離れない。 我々は、アクティブで不正直な中央組織が受信した勾配からユーザデータを効率的に抽出できる新しいデータ再構成攻撃を示す。
  論文  参考訳（メタデータ） (2021-12-06T10:37:03Z)
• A Framework for Evaluating Gradient Leakage Attacks in Federated Learning [14.134217287912008]
  Federated Learning(FL)は、クライアントのネットワークと協調的なモデルトレーニングのための、新興の分散機械学習フレームワークである。 最近の研究では、クライアントからフェデレーションサーバにローカルパラメータの更新を共有しても、グラデーションリーク攻撃の影響を受けやすいことが示されている。 本稿では,クライアントプライバシ漏洩攻撃のさまざまな形態の評価と比較を行うための原則的フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-22T05:15:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。