論文の概要: GI-NAS: Boosting Gradient Inversion Attacks through Adaptive Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2405.20725v2
• Date: Fri, 25 Oct 2024 09:26:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:35:12.332810
• Title: GI-NAS: Boosting Gradient Inversion Attacks through Adaptive Neural Architecture Search
• Title（参考訳）: GI-NAS: 適応型ニューラルネットワークサーチによるグラディエント・インバージョン・アタックの強化
• Authors: Wenbo Yu, Hao Fang, Bin Chen, Xiaohang Sui, Chuan Chen, Hao Wu, Shu-Tao Xia, Ke Xu,
• Abstract要約: グラディエント・インバージョン・アタック (Gradient Inversion Attacks) は、Federated Learning (FL) システムの伝達勾配を反転させ、ローカルクライアントの機密データを再構築する。 勾配反転法の大半は明示的な事前知識に大きく依存しており、現実的なシナリオでは利用できないことが多い。 本稿では,ニューラルネットワークを適応的に探索し,ニューラルネットワークの背後にある暗黙の先行情報をキャプチャするニューラルアーキテクチャ探索(GI-NAS)を提案する。
• 参考スコア（独自算出の注目度）: 45.57494859267399
• License:
• Abstract: Gradient Inversion Attacks invert the transmitted gradients in Federated Learning (FL) systems to reconstruct the sensitive data of local clients and have raised considerable privacy concerns. A majority of gradient inversion methods rely heavily on explicit prior knowledge (e.g., a well pre-trained generative model), which is often unavailable in realistic scenarios. To alleviate this issue, researchers have proposed to leverage the implicit prior knowledge of an over-parameterized network. However, they only utilize a fixed neural architecture for all the attack settings. This would hinder the adaptive use of implicit architectural priors and consequently limit the generalizability. In this paper, we further exploit such implicit prior knowledge by proposing Gradient Inversion via Neural Architecture Search (GI-NAS), which adaptively searches the network and captures the implicit priors behind neural architectures. Extensive experiments verify that our proposed GI-NAS can achieve superior attack performance compared to state-of-the-art gradient inversion methods, even under more practical settings with high-resolution images, large-sized batches, and advanced defense strategies.
• Abstract（参考訳）: グラディエント・インバージョン・アタック(Gradient Inversion Attacks)は、Federated Learning (FL)システムで送信された勾配を逆転し、ローカルクライアントの機密データを再構築する。 勾配反転法の大半は明示的な事前知識(例えば、十分に訓練された生成モデル)に大きく依存しており、現実的なシナリオでは利用できないことが多い。 この問題を緩和するため、研究者は過度にパラメータ化されたネットワークの暗黙の事前知識を活用することを提案した。 しかし、それらはすべての攻撃設定に対してのみ、固定されたニューラルネットワークアーキテクチャを使用する。 これにより、暗黙のアーキテクチャ事前の適応的な使用が妨げられ、その結果、一般化性が制限される。 本稿では,ニューラルネットワークを適応的に探索し,ニューラルネットワークの背後にある暗黙の先行情報をキャプチャする,GI-NAS(Gradient Inversion via Neural Architecture Search)を提案することによって,そのような暗黙の事前知識をさらに活用する。 GI-NASは,高解像度画像,大規模バッチ,先進防衛戦略を用いて,より実用的な設定下であっても,最先端の勾配反転法に比べて優れた攻撃性能が得られることが実証された。

関連論文リスト

• Extracting Spatiotemporal Data from Gradients with Large Language Models [30.785476975412482]
  グラデーションデータから更新できる最近のアップデートは、フェデレートされた学習における重要なプライバシーの約束を破る。 我々は,連合学習における攻撃を軽減するための適応型防衛戦略を提案する。 提案した防衛戦略は,時間的・時間的連合学習の有用性を効果的に保護し,有効に維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-21T15:48:34Z)
• GI-SMN: Gradient Inversion Attack against Federated Learning without Prior Knowledge [4.839514405631815]
  フェデレートラーニング(FL)は、プライバシ保護機械学習アプローチとして登場した。 勾配反転攻撃はFLの勾配を利用して元のユーザデータを再現する。 スタイルマイグレーションネットワーク(GI-SMN)に基づく新しいグラディエント・インバージョン・アタックを提案する。
  論文  参考訳（メタデータ） (2024-05-06T14:29:24Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
  ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。 勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。 非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
  論文  参考訳（メタデータ） (2021-06-17T13:24:43Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Improving Neural Network Robustness through Neighborhood Preserving Layers [0.751016548830037]
  このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。 我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-01-28T01:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。