Fugu-MT 論文翻訳(概要): Temporal Gradient Inversion Attacks with Robust Optimization

論文の概要: Temporal Gradient Inversion Attacks with Robust Optimization

arxiv url: http://arxiv.org/abs/2306.07883v1
Date: Tue, 13 Jun 2023 16:21:34 GMT
ステータス: 処理完了
システム内更新日: 2023-06-14 12:54:07.001039
Title: Temporal Gradient Inversion Attacks with Robust Optimization
Title（参考訳）: ロバスト最適化による時間勾配反転攻撃
Authors: Bowen Li, Hanlin Gu, Ruoxin Chen, Jie Li, Chentao Wu, Na Ruan, Xueming Si, Lixin Fan
Abstract要約: フェデレートラーニング(FL)は、プライベートデータを共有せずに協調的なモデルトレーニングのための有望なアプローチとして登場した。グラディエント・インバージョン・アタック(GIA)は、交換された勾配からローカルクライアントが保持するプライベートデータを再構築するために提案されている。プライベートデータを復元する一方で、データ次元とモデルの複雑さが増加し、GAAによるデータの再構築が妨げられる。複数の時間勾配を利用して、事前の知識なしにプライベートデータを復元するTGIAs-ROを提案する。
参考スコア（独自算出の注目度）: 18.166835997248658
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated Learning (FL) has emerged as a promising approach for collaborative model training without sharing private data. However, privacy concerns regarding information exchanged during FL have received significant research attention. Gradient Inversion Attacks (GIAs) have been proposed to reconstruct the private data retained by local clients from the exchanged gradients. While recovering private data, the data dimensions and the model complexity increase, which thwart data reconstruction by GIAs. Existing methods adopt prior knowledge about private data to overcome those challenges. In this paper, we first observe that GIAs with gradients from a single iteration fail to reconstruct private data due to insufficient dimensions of leaked gradients, complex model architectures, and invalid gradient information. We investigate a Temporal Gradient Inversion Attack with a Robust Optimization framework, called TGIAs-RO, which recovers private data without any prior knowledge by leveraging multiple temporal gradients. To eliminate the negative impacts of outliers, e.g., invalid gradients for collaborative optimization, robust statistics are proposed. Theoretical guarantees on the recovery performance and robustness of TGIAs-RO against invalid gradients are also provided. Extensive empirical results on MNIST, CIFAR10, ImageNet and Reuters 21578 datasets show that the proposed TGIAs-RO with 10 temporal gradients improves reconstruction performance compared to state-of-the-art methods, even for large batch sizes (up to 128), complex models like ResNet18, and large datasets like ImageNet (224*224 pixels). Furthermore, the proposed attack method inspires further exploration of privacy-preserving methods in the context of FL.
Abstract（参考訳）: 連合学習(federated learning, fl)は、プライベートデータを共有せずに協調モデルトレーニングを行うための有望なアプローチとして登場した。しかし、fl期間中に交換された情報に関するプライバシーの懸念は大きな研究の注目を集めている。ローカルクライアントが保持するプライベートデータを交換勾配から再構築するために、勾配反転攻撃(gias)が提案されている。プライベートデータを復元する一方で、データ次元とモデルの複雑さが増加し、GAAによるデータの再構築が妨げられる。既存の手法は、これらの課題を克服するために、プライベートデータに関する事前知識を採用する。本稿では, 単一繰り返しからの勾配を持つGAAが, 漏洩勾配, 複雑なモデルアーキテクチャ, 不正勾配情報の不足により, プライベートデータの再構成に失敗するのを最初に観察する。複数の時間勾配を利用して、事前の知識のないプライベートデータを復元する、TGIAs-ROと呼ばれるロバスト最適化フレームワークを用いた時間勾配インバージョンアタックについて検討する。協調最適化のための不適切な勾配など、異常値の負の影響を排除するため、ロバストな統計が提案されている。無効勾配に対するTGIAs-ROの回復性能とロバスト性に関する理論的保証も提供する。 mnist、cifar10、imagenet、reuters 21578データセットの広範な実験結果から、10の時間勾配を持つtgias-roは、大規模なバッチサイズ(最大128個)、resnet18のような複雑なモデル、imagenet (224*224ピクセル)のような大規模データセットであっても、最先端の手法に比べて再構成性能が向上していることがわかる。さらに,提案手法は,flの文脈におけるプライバシ保存手法のさらなる探求を促す。

関連論文リスト

Optimal Defenses Against Gradient Reconstruction Attacks [13.728704430883987]
Federated Learning (FL) は、集中型データストレージを使わずに、協調的なモデルトレーニングによってデータ漏洩を防止するように設計されている。共有勾配から元のトレーニングデータを復元する勾配再構築攻撃には、依然として脆弱である。
論文参考訳（メタデータ） (2024-11-06T08:22:20Z)
Extracting Spatiotemporal Data from Gradients with Large Language Models [30.785476975412482]
グラデーションデータから更新できる最近のアップデートは、フェデレートされた学習における重要なプライバシーの約束を破る。我々は,連合学習における攻撃を軽減するための適応型防衛戦略を提案する。提案した防衛戦略は,時間的・時間的連合学習の有用性を効果的に保護し,有効に維持できることを示す。
論文参考訳（メタデータ） (2024-10-21T15:48:34Z)
Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-11-14T17:59:51Z)
Understanding Deep Gradient Leakage via Inversion Influence Functions [53.1839233598743]
Deep Gradient Leakage (DGL)は、勾配ベクトルからプライベートトレーニングイメージを復元する非常に効果的な攻撃である。得られた画像とプライベート勾配との間の閉形式接続を確立する新しいインバージョンインフルエンス関数(I$2$F)を提案する。 I$2$Fは、一般的に異なるモデルアーキテクチャ、データセット、アタック実装、摂動に基づく防御に基づいてDGLを効果的に近似したことを実証的に実証した。
論文参考訳（メタデータ） (2023-09-22T17:26:24Z)
Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文参考訳（メタデータ） (2022-11-20T15:49:11Z)
Auditing Privacy Defenses in Federated Learning via Generative Gradient Leakage [9.83989883339971]
Federated Learning (FL)フレームワークは、分散学習システムにプライバシーの利点をもたらす。近年の研究では、共有情報を通じて個人情報を漏洩させることが報告されている。我々は,GGL(Generative Gradient Leakage)と呼ばれる新しいタイプのリーク手法を提案する。
論文参考訳（メタデータ） (2022-03-29T15:59:59Z)
Robbing the Fed: Directly Obtaining Private Data in Federated Learning with Modified Models [56.0250919557652]
フェデレーション学習は、ユーザーのプライバシーと効率を高めるという約束で急速に人気を集めている。ユーザプライバシに対する以前の攻撃はスコープが限られており、少数のデータポイントに集約されたグラデーション更新にはスケールしない。共有モデルアーキテクチャの最小限ではあるが悪意のある変更に基づく新しい脅威モデルを導入する。
論文参考訳（メタデータ） (2021-10-25T15:52:06Z)
Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
論文参考訳（メタデータ） (2021-08-18T03:20:00Z)
PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage [0.8029049649310213]
ニューラルネットワークの協調トレーニングは、異なるクライアント間で勾配情報を交換することで、分散データを活用する。プライバシーを高めるために勾配摂動技術が提案されているが、モデル性能の低下、収束時間の増加、データ要求の増加といったコストが伴う。任意のモデルアーキテクチャの汎用拡張として使用できるPRivacy EnhanCing mODulEであるPrepreCODEを紹介する。
論文参考訳（メタデータ） (2021-08-10T14:43:17Z)
R-GAP: Recursive Gradient Attack on Privacy [5.687523225718642]
フェデレートラーニング(Federated Learning)は、プライバシの要求と、分散データの大規模なコレクションから学ぶという約束の間のジレンマを打破する、有望なアプローチである。ディープニューラルネットワークの勾配からデータを復元するクローズドフォーム再帰法を提案する。また,特定のネットワークアーキテクチャに固有の勾配攻撃のリスクを推定するランク解析手法を提案する。
論文参考訳（メタデータ） (2020-10-15T13:22:40Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。