論文の概要: Mjolnir: Breaking the Shield of Perturbation-Protected Gradients via Adaptive Diffusion

• arxiv url: http://arxiv.org/abs/2407.05285v4
• Date: Mon, 06 Jan 2025 14:37:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 16:36:49.372292
• Title: Mjolnir: Breaking the Shield of Perturbation-Protected Gradients via Adaptive Diffusion
• Title（参考訳）: Mjolnir: 適応拡散による摂動予測勾配の遮蔽
• Authors: Xuan Liu, Siqi Cai, Qihua Zhou, Song Guo, Ruibin Li, Kaiwei Lin,
• Abstract要約: フェデレートラーニングにおける勾配摂動保護のシールドを破ろうとする試みについて紹介する。 摂動抵抗性勾配漏洩攻撃であるMjolnirを導入する。 Mjolnirは、オリジナルのモデル構造や外部データへのアクセスを必要とせずに、勾配から摂動を取り除くことができる。
• 参考スコア（独自算出の注目度）: 13.764770382623812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Perturbation-based mechanisms, such as differential privacy, mitigate gradient leakage attacks by introducing noise into the gradients, thereby preventing attackers from reconstructing clients' private data from the leaked gradients. However, can gradient perturbation protection mechanisms truly defend against all gradient leakage attacks? In this paper, we present the first attempt to break the shield of gradient perturbation protection in Federated Learning for the extraction of private information. We focus on common noise distributions, specifically Gaussian and Laplace, and apply our approach to DNN and CNN models. We introduce Mjolnir, a perturbation-resilient gradient leakage attack that is capable of removing perturbations from gradients without requiring additional access to the original model structure or external data. Specifically, we leverage the inherent diffusion properties of gradient perturbation protection to develop a novel diffusion-based gradient denoising model for Mjolnir. By constructing a surrogate client model that captures the structure of perturbed gradients, we obtain crucial gradient data for training the diffusion model. We further utilize the insight that monitoring disturbance levels during the reverse diffusion process can enhance gradient denoising capabilities, allowing Mjolnir to generate gradients that closely approximate the original, unperturbed versions through adaptive sampling steps. Extensive experiments demonstrate that Mjolnir effectively recovers the protected gradients and exposes the Federated Learning process to the threat of gradient leakage, achieving superior performance in gradient denoising and private data recovery.
• Abstract（参考訳）: 差分プライバシーのような摂動に基づくメカニズムは、勾配にノイズを導入することによって勾配リーク攻撃を軽減し、攻撃者が漏洩した勾配からクライアントのプライベートデータを再構築するのを防ぐ。 しかし、勾配摂動保護機構は全ての勾配漏洩攻撃に対して真に防御できるのか? 本稿では,私的情報の抽出を目的としたフェデレートラーニングにおける勾配摂動保護のシールドを破ろうとする試みについて紹介する。 我々は、一般的なノイズ分布、特にガウスとラプラスに着目し、DNNとCNNモデルにアプローチを適用する。 我々は、オリジナルのモデル構造や外部データへの追加アクセスを必要とせずに、勾配から摂動を除去できる摂動抵抗性勾配漏洩攻撃であるMjolnirを紹介する。 具体的には、勾配摂動保護の固有の拡散特性を活用し、Mjolnirの新しい拡散に基づく勾配分解モデルを開発する。 摂動勾配の構造を捉えた代理クライアントモデルを構築することにより,拡散モデルのトレーニングのための重要な勾配データを得る。 さらに, 逆拡散過程における外乱レベルのモニタリングは, 勾配の偏極性を高め, 適応サンプリングステップにより, 元の未飽和バージョンを密に近似した勾配を生成することができるという知見を有効活用する。 大規模な実験により、Mjolnirは保護された勾配を効果的に回復し、勾配リークの脅威にフェデレート学習プロセスを公開する。

関連論文リスト

• One-for-More: Continual Diffusion Model for Anomaly Detection [61.12622458367425]
  異常検出法は拡散モデルを用いて任意の異常画像が与えられたときの正常サンプルの生成または再構成を行う。 われわれは,拡散モデルが「重度忠実幻覚」と「破滅的な忘れ」に悩まされていることを発見した。 本研究では,安定な連続学習を実現するために勾配予測を用いた連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-27T07:47:27Z)
• CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling [63.07948989346385]
  フェデレーション学習は、グローバルサーバ上でニューラルネットワークを協調的にトレーニングする。 各ローカルクライアントは、現在のグローバルモデルウェイトを受信し、そのローカルプライベートデータに基づいてパラメータ更新(グラディエント)を返送する。 既存の勾配反転攻撃は、クライアントの勾配ベクトルからプライベートトレーニングインスタンスを復元するためにこの脆弱性を利用することができる。 本稿では,大規模ニューラルネットワークモデルに適した新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T01:06:23Z)
• Diffusion State-Guided Projected Gradient for Inverse Problems [82.24625224110099]
  逆問題に対する拡散状態ガイド型射影勾配(DiffStateGrad)を提案する。 DiffStateGrad は拡散過程の中間状態の低ランク近似である部分空間に測定勾配を投影する。 DiffStateGradは、測定手順のステップサイズとノイズの選択によって拡散モデルのロバスト性を向上させる。
  論文  参考訳（メタデータ） (2024-10-04T14:26:54Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• A Theoretical Insight into Attack and Defense of Gradient Leakage in Transformer [11.770915202449517]
  グラディエント(DLG)攻撃によるDeep Leakageは、交換勾配を検査してセンシティブなトレーニングデータを抽出する方法として、広く普及している。 本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。
  論文  参考訳（メタデータ） (2023-11-22T09:58:01Z)
• Butterfly Effects of SGD Noise: Error Amplification in Behavior Cloning and Autoregression [70.78523583702209]
  深層ニューラルネットワークを用いた行動クローニングの訓練不安定性について検討した。 トレーニング中のSGD更新の最小化は,長期的報奨の急激な振動をもたらすことが観察された。
  論文  参考訳（メタデータ） (2023-10-17T17:39:40Z)
• Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
  Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。 我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。 我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
  論文  参考訳（メタデータ） (2023-09-18T09:36:24Z)
• Privacy Preserving Federated Learning with Convolutional Variational Bottlenecks [2.1301560294088318]
  近年,変分モデルに基づくPRECODE(PRivacy EnhanCing mODulE)を導入して,モデルユーティリティを損なうことなく勾配漏れを防止する手法が提案されている。 ニューラルネットワークにおけるPreCODEとそれに続く階層の勾配に変動モデルが導入されたことを示す。 攻撃最適化時の勾配勾配を意図的に省略することにより、PreCODEのプライバシー保護効果を無効にする攻撃を定式化する。
  論文  参考訳（メタデータ） (2023-09-08T16:23:25Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Sampling-based Fast Gradient Rescaling Method for Highly Transferable Adversarial Attacks [18.05924632169541]
  サンプリングに基づく高速勾配再スケーリング法(S-FGRM)を提案する。 具体的には、余分な計算コストを伴わずに手話関数を置換するためにデータ再スケーリングを用いる。 本手法は, 勾配に基づく攻撃の伝達可能性を大幅に向上させ, 最先端のベースラインより優れる可能性がある。
  論文  参考訳（メタデータ） (2023-07-06T07:52:42Z)
• Securing Distributed SGD against Gradient Leakage Threats [13.979995939926154]
  本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。 プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。 本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
  論文  参考訳（メタデータ） (2023-05-10T21:39:27Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Combining Variational Modeling with Partial Gradient Perturbation to Prevent Deep Gradient Leakage [0.6021787236982659]
  勾配反転攻撃は、ニューラルネットワークの協調学習において、ユビキタスな脅威である。 最近の研究は、任意のモデルアーキテクチャの拡張としてPPPalモデリングに基づくPRECODE(PRivacy EnhanCing mODulE)を提案する。 本研究では,PreCODEが勾配反転攻撃に与える影響について検討し,その基礎となる動作原理を明らかにする。 モデル性能を損なうことなく、効果的にプライバシを保護するために、我々のアプローチは勾配の摂動を少なくすることを示した。
  論文  参考訳（メタデータ） (2022-08-09T13:23:29Z)
• Sampling-based Fast Gradient Rescaling Method for Highly Transferable Adversarial Attacks [19.917677500613788]
  勾配ベースのアプローチは一般的に、プロセスの最後に摂動を生成するために$sign$関数を使用する。 そこで本研究では,S-FGRM(Saming-based Fast Gradient Rescaling Method)を提案する。
  論文  参考訳（メタデータ） (2022-04-06T15:12:20Z)
• Auditing Privacy Defenses in Federated Learning via Generative Gradient Leakage [9.83989883339971]
  Federated Learning (FL)フレームワークは、分散学習システムにプライバシーの利点をもたらす。 近年の研究では、共有情報を通じて個人情報を漏洩させることが報告されている。 我々は,GGL(Generative Gradient Leakage)と呼ばれる新しいタイプのリーク手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T15:59:59Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。