論文の概要: Mixed Precision Quantization to Tackle Gradient Leakage Attacks in
Federated Learning
- arxiv url: http://arxiv.org/abs/2210.13457v1
- Date: Sat, 22 Oct 2022 04:24:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 13:01:40.396356
- Title: Mixed Precision Quantization to Tackle Gradient Leakage Attacks in
Federated Learning
- Title（参考訳）: フェデレーション学習における混合精度量子化とタックル・グラディエント漏洩攻撃
- Authors: Pretom Roy Ovi, Emon Dey, Nirmalya Roy, Aryya Gangopadhyay
- Abstract要約: フェデレートラーニング(FL)は、明示的なデータ共有を必要とせずに、多数の参加者の間で協調的なモデル構築を可能にする。
このアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。
特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
- 参考スコア（独自算出の注目度）: 1.7205106391379026
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) enables collaborative model building among a large
number of participants without the need for explicit data sharing. But this
approach shows vulnerabilities when privacy inference attacks are applied to
it. In particular, in the event of a gradient leakage attack, which has a
higher success rate in retrieving sensitive data from the model gradients, FL
models are at higher risk due to the presence of communication in their
inherent architecture. The most alarming thing about this gradient leakage
attack is that it can be performed in such a covert way that it does not hamper
the training performance while the attackers backtrack from the gradients to
get information about the raw data. Two of the most common approaches proposed
as solutions to this issue are homomorphic encryption and adding noise with
differential privacy parameters. These two approaches suffer from two major
drawbacks. They are: the key generation process becomes tedious with the
increasing number of clients, and noise-based differential privacy suffers from
a significant drop in global model accuracy. As a countermeasure, we propose a
mixed-precision quantized FL scheme, and we empirically show that both of the
issues addressed above can be resolved. In addition, our approach can ensure
more robustness as different layers of the deep model are quantized with
different precision and quantization modes. We empirically proved the validity
of our method with three benchmark datasets and found a minimal accuracy drop
in the global model after applying quantization.
- Abstract（参考訳）: フェデレーション学習(fl)は、明示的なデータ共有を必要とせずに、多数の参加者による協調モデル構築を可能にする。
しかしこのアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。
特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
この勾配漏洩攻撃の最も注意すべき点は、攻撃者が勾配からバックトラックして生データに関する情報を取得する間、トレーニングパフォーマンスを阻害しないような隠密な方法で実行可能であることである。
この問題に対する解決策として提案された最も一般的なアプローチは、準同型暗号化と差分プライバシーパラメータによるノイズの追加である。
この2つのアプローチには2つの大きな欠点がある。
キー生成プロセスはクライアント数の増加によって面倒になり、ノイズベースの差分プライバシーは、グローバルモデル精度の大幅な低下に悩まされる。
対策として,混合精度の量子化FLスキームを提案し,上記の問題のどちらも解決可能であることを実証的に示す。
さらに、深層モデルの異なる層が異なる精度と量子化モードで量子化されるため、我々のアプローチはより堅牢性を確保することができる。
3つのベンチマークデータセットを用いて本手法の有効性を実証し,量子化を行った結果,グローバルモデルにおける最小精度の低下が確認された。
関連論文リスト
- Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。
従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。
これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
論文 参考訳（メタデータ） (2024-07-16T06:38:49Z) - Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。
本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。
LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文 参考訳（メタデータ） (2024-04-18T15:47:00Z) - Securing Distributed SGD against Gradient Leakage Threats [13.979995939926154]
本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。
プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。
本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
論文 参考訳（メタデータ） (2023-05-10T21:39:27Z) - Gradient Leakage Defense with Key-Lock Module for Federated Learning [14.411227689702997]
Federated Learning(FL)は、プライバシ保護機械学習アプローチとして広く採用されている。
最近の発見は、プライバシーが侵害され、共有勾配から機密情報が回収される可能性があることを示している。
秘密鍵ロックモジュールを用いて任意のモデルアーキテクチャをセキュアにするための新しい勾配リーク防御手法を提案する。
論文 参考訳（メタデータ） (2023-05-06T16:47:52Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳（メタデータ） (2022-10-23T22:24:03Z) - Concealing Sensitive Samples against Gradient Leakage in Federated
Learning [41.43099791763444]
Federated Learning(FL)は、クライアントが生のプライベートデータをサーバと共有する必要をなくし、ユーザのプライバシを高める分散学習パラダイムである。
近年の研究では、FLの脆弱性が逆攻撃のモデルとなり、敵は共有勾配情報に基づく盗聴によって個人データを再構築している。
我々は,機密データの勾配を隠蔽標本で曖昧にする,シンプルで効果的な防衛戦略を提案する。
論文 参考訳（メタデータ） (2022-09-13T04:19:35Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳（メタデータ） (2022-02-14T18:33:12Z) - PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage [0.8029049649310213]
ニューラルネットワークの協調トレーニングは、異なるクライアント間で勾配情報を交換することで、分散データを活用する。
プライバシーを高めるために勾配摂動技術が提案されているが、モデル性能の低下、収束時間の増加、データ要求の増加といったコストが伴う。
任意のモデルアーキテクチャの汎用拡張として使用できるPRivacy EnhanCing mODulEであるPrepreCODEを紹介する。
論文 参考訳（メタデータ） (2021-08-10T14:43:17Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。