論文の概要: CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling

• arxiv url: http://arxiv.org/abs/2501.15718v1
• Date: Mon, 27 Jan 2025 01:06:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:56:59.972895
• Title: CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling
• Title（参考訳）: CENSOR:直交サブスペースベイズサンプリングによるグラディエントインバージョンに対する防御
• Authors: Kaiyuan Zhang, Siyuan Cheng, Guangyu Shen, Bruno Ribeiro, Shengwei An, Pin-Yu Chen, Xiangyu Zhang, Ninghui Li,
• Abstract要約: フェデレーション学習は、グローバルサーバ上でニューラルネットワークを協調的にトレーニングする。 各ローカルクライアントは、現在のグローバルモデルウェイトを受信し、そのローカルプライベートデータに基づいてパラメータ更新(グラディエント)を返送する。 既存の勾配反転攻撃は、クライアントの勾配ベクトルからプライベートトレーニングインスタンスを復元するためにこの脆弱性を利用することができる。 本稿では,大規模ニューラルネットワークモデルに適した新しい防衛手法を提案する。
• 参考スコア（独自算出の注目度）: 63.07948989346385
• License:
• Abstract: Federated learning collaboratively trains a neural network on a global server, where each local client receives the current global model weights and sends back parameter updates (gradients) based on its local private data. The process of sending these model updates may leak client's private data information. Existing gradient inversion attacks can exploit this vulnerability to recover private training instances from a client's gradient vectors. Recently, researchers have proposed advanced gradient inversion techniques that existing defenses struggle to handle effectively. In this work, we present a novel defense tailored for large neural network models. Our defense capitalizes on the high dimensionality of the model parameters to perturb gradients within a subspace orthogonal to the original gradient. By leveraging cold posteriors over orthogonal subspaces, our defense implements a refined gradient update mechanism. This enables the selection of an optimal gradient that not only safeguards against gradient inversion attacks but also maintains model utility. We conduct comprehensive experiments across three different datasets and evaluate our defense against various state-of-the-art attacks and defenses. Code is available at https://censor-gradient.github.io.
• Abstract（参考訳）: フェデレーション学習は、グローバルサーバ上のニューラルネットワークを協調的にトレーニングする。各ローカルクライアントは、現在のグローバルモデル重みを受信し、そのローカルプライベートデータに基づいてパラメータ更新(グラディエント)を返す。 これらのモデル更新を送信するプロセスは、クライアントのプライベートデータ情報を漏洩させる可能性がある。 既存の勾配反転攻撃は、クライアントの勾配ベクトルからプライベートトレーニングインスタンスを復元するためにこの脆弱性を利用することができる。 近年、研究者は既存の防御が効果的に扱うのに苦労する高度な勾配逆転法を提案している。 本研究では,大規模ニューラルネットワークモデルに適した新しいディフェンスを提案する。 我々の防衛は、モデルパラメータの高次元性を利用して、元の勾配に直交する部分空間内の摂動勾配を導出する。 直交部分空間上の冷間後部を有効利用することにより,我々の防衛は洗練された勾配更新機構を実装している。 これにより、勾配反転攻撃に対する防御だけでなく、モデルユーティリティも維持できる最適勾配の選択が可能になる。 我々は3つの異なるデータセットにわたる総合的な実験を行い、様々な最先端の攻撃と防御に対する防御を評価した。 コードはhttps://censor-gradient.github.ioで公開されている。

関連論文リスト

• Understanding Deep Gradient Leakage via Inversion Influence Functions [53.1839233598743]
  Deep Gradient Leakage (DGL)は、勾配ベクトルからプライベートトレーニングイメージを復元する非常に効果的な攻撃である。 得られた画像とプライベート勾配との間の閉形式接続を確立する新しいインバージョンインフルエンス関数(I$2$F)を提案する。 I$2$Fは、一般的に異なるモデルアーキテクチャ、データセット、アタック実装、摂動に基づく防御に基づいてDGLを効果的に近似したことを実証的に実証した。
  論文  参考訳（メタデータ） (2023-09-22T17:26:24Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• Privacy Preserving Federated Learning with Convolutional Variational Bottlenecks [2.1301560294088318]
  近年,変分モデルに基づくPRECODE(PRivacy EnhanCing mODulE)を導入して,モデルユーティリティを損なうことなく勾配漏れを防止する手法が提案されている。 ニューラルネットワークにおけるPreCODEとそれに続く階層の勾配に変動モデルが導入されたことを示す。 攻撃最適化時の勾配勾配を意図的に省略することにより、PreCODEのプライバシー保護効果を無効にする攻撃を定式化する。
  論文  参考訳（メタデータ） (2023-09-08T16:23:25Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Gradient Leakage Defense with Key-Lock Module for Federated Learning [14.411227689702997]
  Federated Learning(FL)は、プライバシ保護機械学習アプローチとして広く採用されている。 最近の発見は、プライバシーが侵害され、共有勾配から機密情報が回収される可能性があることを示している。 秘密鍵ロックモジュールを用いて任意のモデルアーキテクチャをセキュアにするための新しい勾配リーク防御手法を提案する。
  論文  参考訳（メタデータ） (2023-05-06T16:47:52Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• Dropout is NOT All You Need to Prevent Gradient Leakage [0.6021787236982659]
  反復的勾配反転攻撃に対するドロップアウトの影響を解析する。 本稿では,クライアントデータとドロップアウトマスクを協調的に最適化する新しいインバージョンアタック(DIA)を提案する。 提案した攻撃は, 投棄によって引き起こされると思われる保護を回避し, 高い忠実度でクライアントデータを再構築する。
  論文  参考訳（メタデータ） (2022-08-12T08:29:44Z)
• Defense Against Gradient Leakage Attacks via Learning to Obscure Data [48.67836599050032]
  フェデレートラーニングは、効果的なプライバシー保護学習メカニズムと考えられている。 本稿では,不明瞭なデータに学習することで,クライアントのデータ保護のための新しい防御手法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T21:03:28Z)
• PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage [0.8029049649310213]
  ニューラルネットワークの協調トレーニングは、異なるクライアント間で勾配情報を交換することで、分散データを活用する。 プライバシーを高めるために勾配摂動技術が提案されているが、モデル性能の低下、収束時間の増加、データ要求の増加といったコストが伴う。 任意のモデルアーキテクチャの汎用拡張として使用できるPRivacy EnhanCing mODulEであるPrepreCODEを紹介する。
  論文  参考訳（メタデータ） (2021-08-10T14:43:17Z)
• R-GAP: Recursive Gradient Attack on Privacy [5.687523225718642]
  フェデレートラーニング(Federated Learning)は、プライバシの要求と、分散データの大規模なコレクションから学ぶという約束の間のジレンマを打破する、有望なアプローチである。 ディープニューラルネットワークの勾配からデータを復元するクローズドフォーム再帰法を提案する。 また,特定のネットワークアーキテクチャに固有の勾配攻撃のリスクを推定するランク解析手法を提案する。
  論文  参考訳（メタデータ） (2020-10-15T13:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。