論文の概要: A Theoretical Insight into Attack and Defense of Gradient Leakage in Transformer

• arxiv url: http://arxiv.org/abs/2311.13624v1
• Date: Wed, 22 Nov 2023 09:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 01:50:07.672096
• Title: A Theoretical Insight into Attack and Defense of Gradient Leakage in Transformer
• Title（参考訳）: 変圧器の勾配漏洩に対する攻撃と防御に関する理論的考察
• Authors: Chenyang Li, Zhao Song, Weixin Wang, Chiwun Yang
• Abstract要約: グラディエント(DLG)攻撃によるDeep Leakageは、交換勾配を検査してセンシティブなトレーニングデータを抽出する方法として、広く普及している。 本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。
• 参考スコア（独自算出の注目度）: 11.770915202449517
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The Deep Leakage from Gradient (DLG) attack has emerged as a prevalent and highly effective method for extracting sensitive training data by inspecting exchanged gradients. This approach poses a substantial threat to the privacy of individuals and organizations alike. This research presents a comprehensive analysis of the gradient leakage method when applied specifically to transformer-based models. Through meticulous examination, we showcase the capability to accurately recover data solely from gradients and rigorously investigate the conditions under which gradient attacks can be executed, providing compelling evidence. Furthermore, we reevaluate the approach of introducing additional noise on gradients as a protective measure against gradient attacks. To address this, we outline a theoretical proof that analyzes the associated privacy costs within the framework of differential privacy. Additionally, we affirm the convergence of the Stochastic Gradient Descent (SGD) algorithm under perturbed gradients. The primary objective of this study is to augment the understanding of gradient leakage attack and defense strategies while actively contributing to the development of privacy-preserving techniques specifically tailored for transformer-based models. By shedding light on the vulnerabilities and countermeasures associated with gradient leakage, this research aims to foster advancements in safeguarding sensitive data and upholding privacy in the context of transformer-based models.
• Abstract（参考訳）: 勾配(dlg)攻撃からの深い漏洩は,交換勾配を検査することにより感度の高いトレーニングデータを抽出する手段として広く,かつ効果的である。 このアプローチは、個人や組織のプライバシーにも重大な脅威をもたらします。 本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。 本研究は,厳密な調査を通じて,勾配のみから正確なデータ復元能力を示し,勾配攻撃の実施条件を厳密に調査し,説得力のある証拠を提供する。 さらに,勾配攻撃に対する保護策として,勾配に追加ノイズを導入する手法の再検討を行った。 そこで本研究では,差分プライバシーの枠組みにおいて関連するプライバシーコストを分析する理論的証明を概説する。 さらに,摂動勾配下での確率勾配降下 (sgd) アルゴリズムの収束性を確認した。 本研究の目的は,変圧器モデルに適したプライバシー保護技術の開発に積極的に貢献しつつ,勾配漏洩攻撃と防衛戦略の理解を深めることである。 本研究は, 勾配漏洩に伴う脆弱性や対策に光を当てることで, センシティブなデータの保護と, トランスフォーマーモデルにおけるプライバシの保持の促進を図る。

関連論文リスト

• Gradient Diffusion: A Perturbation-Resilient Gradient Leakage Attack [13.764770382623812]
  勾配保護は、フェデレートラーニング(FL)トレーニングプロセスにとって重要な問題である。 摂動抵抗性勾配漏洩攻撃(PGLA)を提案する。 我々の知見は、拡散逆過程における摂動の乱れレベルを捉えることで、勾配除雪能力が解放されるということである。
  論文  参考訳（メタデータ） (2024-07-07T07:06:49Z)
• BadGD: A unified data-centric framework to identify gradient descent vulnerabilities [10.996626204702189]
  BadGDは、敵の操作を理解し緩和するための新しい標準を設定している。 この研究は、このようなデータ中心の攻撃によって引き起こされる深刻な脅威を強調し、機械学習における堅牢な防御の必要性を強調している。
  論文  参考訳（メタデータ） (2024-05-24T23:39:45Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Understanding Deep Gradient Leakage via Inversion Influence Functions [53.1839233598743]
  Deep Gradient Leakage (DGL)は、勾配ベクトルからプライベートトレーニングイメージを復元する非常に効果的な攻撃である。 得られた画像とプライベート勾配との間の閉形式接続を確立する新しいインバージョンインフルエンス関数(I$2$F)を提案する。 I$2$Fは、一般的に異なるモデルアーキテクチャ、データセット、アタック実装、摂動に基づく防御に基づいてDGLを効果的に近似したことを実証的に実証した。
  論文  参考訳（メタデータ） (2023-09-22T17:26:24Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Securing Distributed SGD against Gradient Leakage Threats [13.979995939926154]
  本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。 プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。 本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
  論文  参考訳（メタデータ） (2023-05-10T21:39:27Z)
• Refiner: Data Refining against Gradient Leakage Attacks in Federated Learning [28.76786159247595]
  グラデーションリーク攻撃は クライアントのアップロードした勾配を利用して 機密データを再構築する 本稿では,従来の勾配摂動から分離した新しい防御パラダイムについて検討する。 プライバシ保護とパフォーマンス維持のための2つのメトリクスを共同で最適化するRefinerを設計する。
  論文  参考訳（メタデータ） (2022-12-05T05:36:15Z)
• Combining Variational Modeling with Partial Gradient Perturbation to Prevent Deep Gradient Leakage [0.6021787236982659]
  勾配反転攻撃は、ニューラルネットワークの協調学習において、ユビキタスな脅威である。 最近の研究は、任意のモデルアーキテクチャの拡張としてPPPalモデリングに基づくPRECODE(PRivacy EnhanCing mODulE)を提案する。 本研究では,PreCODEが勾配反転攻撃に与える影響について検討し,その基礎となる動作原理を明らかにする。 モデル性能を損なうことなく、効果的にプライバシを保護するために、我々のアプローチは勾配の摂動を少なくすることを示した。
  論文  参考訳（メタデータ） (2022-08-09T13:23:29Z)
• Defense Against Gradient Leakage Attacks via Learning to Obscure Data [48.67836599050032]
  フェデレートラーニングは、効果的なプライバシー保護学習メカニズムと考えられている。 本稿では,不明瞭なデータに学習することで,クライアントのデータ保護のための新しい防御手法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T21:03:28Z)
• Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
  本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。 シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T19:57:19Z)
• Query-Efficient Black-box Adversarial Attacks Guided by a Transfer-based Prior [50.393092185611536]
  対象モデルの勾配にアクセスできることなく、敵が敵の例を作らなければならないブラックボックスの敵設定を考える。 従来の手法では、代用ホワイトボックスモデルの転送勾配を用いたり、モデルクエリのフィードバックに基づいて真の勾配を近似しようとした。 偏りサンプリングと勾配平均化に基づく2つの事前誘導型ランダム勾配フリー(PRGF)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-13T04:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。