論文の概要: Recovering Labels from Local Updates in Federated Learning

• arxiv url: http://arxiv.org/abs/2405.00955v1
• Date: Thu, 2 May 2024 02:33:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 18:04:13.470734
• Title: Recovering Labels from Local Updates in Federated Learning
• Title（参考訳）: フェデレーションラーニングにおけるローカルアップデートからラベルを復元する
• Authors: Huancheng Chen, Haris Vikalo,
• Abstract要約: グラディエント(GI)攻撃は、連邦学習(FL)におけるクライアントのプライバシーを脅かす ローカル更新(RLU)からラベルを回収する新しいラベルリカバリ方式を提案する。 RLUは、FLシステムが複数のローカルエポックをヘテロジニアスなデータでトレーニングする現実的な実環境でも高い性能を達成する。
• 参考スコア（独自算出の注目度）: 14.866327821524854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient inversion (GI) attacks present a threat to the privacy of clients in federated learning (FL) by aiming to enable reconstruction of the clients' data from communicated model updates. A number of such techniques attempts to accelerate data recovery by first reconstructing labels of the samples used in local training. However, existing label extraction methods make strong assumptions that typically do not hold in realistic FL settings. In this paper we present a novel label recovery scheme, Recovering Labels from Local Updates (RLU), which provides near-perfect accuracy when attacking untrained (most vulnerable) models. More significantly, RLU achieves high performance even in realistic real-world settings where the clients in an FL system run multiple local epochs, train on heterogeneous data, and deploy various optimizers to minimize different objective functions. Specifically, RLU estimates labels by solving a least-square problem that emerges from the analysis of the correlation between labels of the data points used in a training round and the resulting update of the output layer. The experimental results on several datasets, architectures, and data heterogeneity scenarios demonstrate that the proposed method consistently outperforms existing baselines, and helps improve quality of the reconstructed images in GI attacks in terms of both PSNR and LPIPS.
• Abstract（参考訳）: グラディエント・インバージョン(GI)攻撃は、クライアントのデータを通信モデル更新から再構築することを目的とした、連邦学習(FL)におけるクライアントのプライバシに対する脅威となる。 ローカルトレーニングで使用するサンプルのラベルを最初に再構成することで,データ回復を加速する手法がいくつかある。 しかし,既存のラベル抽出手法は,現実的なFL設定では成立しない強い仮定を導出する。 本稿では,未学習の(最も脆弱な)モデルを攻撃した場合に,ほぼ完璧な精度でラベルを検索できる新しいラベル復元手法であるRecovering Labels from Local Updates(RLU)を提案する。 さらに、FLシステム内のクライアントが複数のローカルエポックを実行し、異種データのトレーニングを行い、異なる目的関数を最小化するために様々なオプティマイザをデプロイする現実的な現実的環境においても、RLUは高いパフォーマンスを達成する。 具体的には、RLUは、トレーニングラウンドで使用されるデータポイントのラベルと結果の出力層の更新との相関の分析から生じる最小二乗問題を解くことでラベルを推定する。 提案手法が既存のベースラインを一貫して上回り,PSNRとLPIPSの両方の観点からGI攻撃における再構成画像の品質向上に寄与することを示す。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Anomaly Detection via Gradient and Reconstruction Analysis [2.28438857884398]
  自動エンコーダ駆動のデータ再構成と勾配解析を相乗化して、前例のない精度で有毒データを検出・緩和する新しいフレームワークを提案する。 本手法は, 最小偽陽性率を維持しつつ, 異常検出精度を15%向上させる。 私たちの仕事は、分散学習のセキュリティにおける将来の進歩の道を開くものです。
  論文  参考訳（メタデータ） (2024-03-15T03:54:45Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Tackling the Unlimited Staleness in Federated Learning with Intertwined Data and Device Heterogeneities [4.9851737525099225]
  フェデレートラーニング(FL)は、データとデバイスの不均一性の両方に影響されることが多い。 本稿では,この変換に勾配インバージョン手法を応用した新しいFLフレームワークを提案する。 提案手法により,トレーニングモデルの精度を最大20%向上し,FLトレーニングの進捗を最大35%向上させることができる。
  論文  参考訳（メタデータ） (2023-09-24T03:19:40Z)
• Approximate and Weighted Data Reconstruction Attack in Federated Learning [1.802525429431034]
  分散学習(FL)は、クライアントがプライベートデータを共有せずに、機械学習モデルを構築するためのコラボレーションを可能にする。 最近のデータ再構成攻撃は、攻撃者がFLで共有されたパラメータに基づいてクライアントのトレーニングデータを復元できることを実証している。 本稿では、クライアントのローカルトレーニングプロセスの中間モデル更新を生成することにより、FedAvgシナリオの攻撃を可能にする近似手法を提案する。
  論文  参考訳（メタデータ） (2023-08-13T17:40:56Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Federated Latent Class Regression for Hierarchical Data [5.110894308882439]
  フェデレートラーニング(FL)は、多くのエージェントがローカルに保存されたデータを開示することなく、グローバル機械学習モデルのトレーニングに参加することを可能にする。 本稿では,新しい確率モデルである階層潜在クラス回帰(HLCR)を提案し,フェデレートラーニング(FEDHLCR)への拡張を提案する。 我々の推論アルゴリズムはベイズ理論から派生したもので、強い収束保証と過剰適合性を提供する。実験結果から、FEDHLCRは非IIDデータセットにおいても高速収束を提供することが示された。
  論文  参考訳（メタデータ） (2022-06-22T00:33:04Z)
• AGIC: Approximate Gradient Inversion Attack on Federated Learning [7.289310150187218]
  フェデレートラーニング(Federated Learning)は、クライアントがグローバルモデルを計算するためにローカルアップデートを集約する前に、自身のデータ上でローカルモデルをトレーニングする、プライベート・バイ・デザインの分散ラーニングパラダイムである。 最近のリコンストラクション攻撃では、訓練中にクライアントが使用するプライベートデータを再構築するために、単一のミニバッチの勾配更新に勾配インバージョン最適化を適用している。 本稿では,モデル更新と勾配更新の両方から効率的に画像を再構成する新しい近似勾配反転攻撃法AGICを提案する。
  論文  参考訳（メタデータ） (2022-04-28T21:15:59Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。