論文の概要: Foreseeing Reconstruction Quality of Gradient Inversion: An Optimization Perspective

• arxiv url: http://arxiv.org/abs/2312.12488v1
• Date: Tue, 19 Dec 2023 17:17:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-21 18:14:52.895581
• Title: Foreseeing Reconstruction Quality of Gradient Inversion: An Optimization Perspective
• Title（参考訳）: 勾配インバージョンにおける再構成品質の予測:最適化の視点から
• Authors: HyeongGwon Hong, Yooshin Cho, Hanbyel Cho, Jaesung Ahn, Junmo Kim
• Abstract要約: クライアントがフェデレート学習でサーバと重み付け更新を共有する場合、グラディエント・インバージョン・アタックはデータのプライバシーを侵害する可能性がある。 既存の研究では、主にL2またはコサイン距離を攻撃の勾配マッチングの損失関数として用いている。 損失認識型脆弱性プロキシ(LAVP)を初めて提案する。
• 参考スコア（独自算出の注目度）: 26.34063170142841
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Gradient inversion attacks can leak data privacy when clients share weight updates with the server in federated learning (FL). Existing studies mainly use L2 or cosine distance as the loss function for gradient matching in the attack. Our empirical investigation shows that the vulnerability ranking varies with the loss function used. Gradient norm, which is commonly used as a vulnerability proxy for gradient inversion attack, cannot explain this as it remains constant regardless of the loss function for gradient matching. In this paper, we propose a loss-aware vulnerability proxy (LAVP) for the first time. LAVP refers to either the maximum or minimum eigenvalue of the Hessian with respect to gradient matching loss at ground truth. This suggestion is based on our theoretical findings regarding the local optimization of the gradient inversion in proximity to the ground truth, which corresponds to the worst case attack scenario. We demonstrate the effectiveness of LAVP on various architectures and datasets, showing its consistent superiority over the gradient norm in capturing sample vulnerabilities. The performance of each proxy is measured in terms of Spearman's rank correlation with respect to several similarity scores. This work will contribute to enhancing FL security against any potential loss functions beyond L2 or cosine distance in the future.
• Abstract（参考訳）: クライアントがフェデレート学習(FL)でサーバと重み付け更新を共有すると、グラディエント・インバージョン・アタックがデータのプライバシーを漏洩する可能性がある。 既存の研究では、主にL2またはコサイン距離を攻撃の勾配マッチングの損失関数として用いている。 我々の経験的調査は、脆弱性ランキングが使用する損失関数によって異なることを示している。 勾配逆攻撃の脆弱性プロキシとして一般的に使用されるグラディエントノルムは、勾配マッチングの損失関数によらず一定であるため、これを説明できない。 本稿では,損失認識型脆弱性プロキシ(LAVP)を初めて提案する。 lavp は基底真理における勾配マッチング損失に関してヘッセンの最大値または最小固有値のどちらかを指す。 この提案は, 地上真実に近い勾配反転の局所的最適化に関する理論的知見に基づいており, 最悪の場合の攻撃シナリオに対応する。 LAVPが様々なアーキテクチャやデータセット上で有効であることを示し、サンプルの脆弱性を捕捉する際の勾配基準よりも一貫した優位性を示す。 各プロキシのパフォーマンスは、いくつかの類似度スコアに対するSpearmanのランク相関によって測定される。 この研究は、将来L2やコサイン距離を超える潜在的な損失関数に対するFLセキュリティの強化に寄与する。

関連論文リスト

• GI-SMN: Gradient Inversion Attack against Federated Learning without Prior Knowledge [4.839514405631815]
  フェデレートラーニング(FL)は、プライバシ保護機械学習アプローチとして登場した。 勾配反転攻撃はFLの勾配を利用して元のユーザデータを再現する。 スタイルマイグレーションネットワーク(GI-SMN)に基づく新しいグラディエント・インバージョン・アタックを提案する。
  論文  参考訳（メタデータ） (2024-05-06T14:29:24Z)
• Understanding Deep Gradient Leakage via Inversion Influence Functions [53.1839233598743]
  Deep Gradient Leakage (DGL)は、勾配ベクトルからプライベートトレーニングイメージを復元する非常に効果的な攻撃である。 得られた画像とプライベート勾配との間の閉形式接続を確立する新しいインバージョンインフルエンス関数(I$2$F)を提案する。 I$2$Fは、一般的に異なるモデルアーキテクチャ、データセット、アタック実装、摂動に基づく防御に基づいてDGLを効果的に近似したことを実証的に実証した。
  論文  参考訳（メタデータ） (2023-09-22T17:26:24Z)
• Rethinking the Backward Propagation for Adversarial Transferability [12.244490573612286]
  転送ベースのアタックは、サロゲートモデル上の逆例を生成し、アクセスなしで他のブラックボックスモデルを誤解させる可能性がある。 本研究では, 非線形層が後方伝播中の勾配を乱し, 入力画像の勾配が損失関数に不正確であることを示す。 本稿では,入力画像の勾配w.r.t.と損失関数の関係性を高める手法を提案する。
  論文  参考訳（メタデータ） (2023-06-22T06:12:23Z)
• Gradient Aligned Attacks via a Few Queries [18.880398046794138]
  ブラックボックスクエリアタックは、少数のクエリのみを許可する新しいシナリオにおいて、パフォーマンスが低いことを示している。 本研究では, 被害モデルに対する攻撃性能を改善するために, 勾配アライメント・アライメント・アライメント・アタック(GAA)を提案する。 提案した勾配整列攻撃と損失は,ブラックボックスクエリアタックの攻撃性能とクエリ効率を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2022-05-19T12:32:20Z)
• Enhancing Privacy against Inversion Attacks in Federated Learning by using Mixing Gradients Strategies [0.31498833540989407]
  フェデレーション学習は情報漏洩のリスクを低減するが、攻撃に対して脆弱である。 いくつかのニューラルネットワーク設計決定が、勾配逆攻撃に対してどのように防御できるかを示す。 これらの戦略は、画像認識のためのLeNETのような深層畳み込みニューラルネットワークにも有用である。
  論文  参考訳（メタデータ） (2022-04-26T12:08:28Z)
• GradViT: Gradient Inversion of Vision Transformers [83.54779732309653]
  我々は,視力変換器(ViT)の勾配に基づく逆攻撃に対する脆弱性を実証する。 自然に見える画像にランダムノイズを最適化するGradViTという手法を提案する。 元の(隠された)データに対する前例のない高い忠実さと近接性を観察する。
  論文  参考訳（メタデータ） (2022-03-22T17:06:07Z)
• When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations? [51.1848572349154]
  固定幅深層ネットワークに適用された勾配勾配がロジスティック損失をゼロにする条件を確立する。 解析はSwishやHuberized ReLUといったReLUのスムーズな近似に適用する。
  論文  参考訳（メタデータ） (2021-02-09T18:04:37Z)
• Boosting Gradient for White-Box Adversarial Attacks [60.422511092730026]
  そこで本研究では,ADV-ReLUと呼ばれる,勾配に基づくホワイトボックス攻撃アルゴリズムの性能向上を目的とした,汎用的な逆例生成手法を提案する。 提案手法では,損失関数とネットワーク入力の勾配を算出し,その値をスコアにマップし,その一部を選択して誤導勾配を更新する。
  論文  参考訳（メタデータ） (2020-10-21T02:13:26Z)
• R-GAP: Recursive Gradient Attack on Privacy [5.687523225718642]
  フェデレートラーニング(Federated Learning)は、プライバシの要求と、分散データの大規模なコレクションから学ぶという約束の間のジレンマを打破する、有望なアプローチである。 ディープニューラルネットワークの勾配からデータを復元するクローズドフォーム再帰法を提案する。 また,特定のネットワークアーキテクチャに固有の勾配攻撃のリスクを推定するランク解析手法を提案する。
  論文  参考訳（メタデータ） (2020-10-15T13:22:40Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。