論文の概要: Maximum Knowledge Orthogonality Reconstruction with Gradients in Federated Learning

• arxiv url: http://arxiv.org/abs/2310.19222v1
• Date: Mon, 30 Oct 2023 02:01:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 13:32:08.021390
• Title: Maximum Knowledge Orthogonality Reconstruction with Gradients in Federated Learning
• Title（参考訳）: 統合学習における勾配を用いた最大知識直交性再構成
• Authors: Feng Wang, Senem Velipasalar, M. Cenk Gursoy
• Abstract要約: フェデレートラーニング(FL)は、プライバシーを守るためにクライアントデータをローカルに保つことを目的としている。 既存のFLアプローチの多くは、非現実的に小さなバッチサイズでFL設定を仮定している。 本稿では,クライアントの入力データを再構築するための,新しい,完全に解析的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 12.709670487307294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) aims at keeping client data local to preserve privacy. Instead of gathering the data itself, the server only collects aggregated gradient updates from clients. Following the popularity of FL, there has been considerable amount of work, revealing the vulnerability of FL approaches by reconstructing the input data from gradient updates. Yet, most existing works assume an FL setting with unrealistically small batch size, and have poor image quality when the batch size is large. Other works modify the neural network architectures or parameters to the point of being suspicious, and thus, can be detected by clients. Moreover, most of them can only reconstruct one sample input from a large batch. To address these limitations, we propose a novel and completely analytical approach, referred to as the maximum knowledge orthogonality reconstruction (MKOR), to reconstruct clients' input data. Our proposed method reconstructs a mathematically proven high quality image from large batches. MKOR only requires the server to send secretly modified parameters to clients and can efficiently and inconspicuously reconstruct the input images from clients' gradient updates. We evaluate MKOR's performance on the MNIST, CIFAR-100, and ImageNet dataset and compare it with the state-of-the-art works. The results show that MKOR outperforms the existing approaches, and draws attention to a pressing need for further research on the privacy protection of FL so that comprehensive defense approaches can be developed.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシーを守るためにクライアントデータをローカルに保つことを目的としている。 データそのものを集める代わりに、サーバはクライアントから集約された勾配更新のみを収集する。 FLの普及に伴い、勾配更新から入力データを再構成することでFLアプローチの脆弱性を明らかにするなど、かなりの作業が続けられている。 しかし、既存の作業の多くは、非現実的に小さなバッチサイズでFLの設定を前提としており、バッチサイズが大きいと画質が劣る。 他の研究では、ニューラルネットワークアーキテクチャやパラメータを不審な点に修正しているため、クライアントが検出することができる。 さらに、ほとんどのバッチは、大きなバッチから1つのサンプル入力だけを再構築できる。 これらの制約に対処するために、クライアントの入力データを再構築する、MKOR(Maxum Knowledge Orgonality Restruction)と呼ばれる、新しく完全に解析的なアプローチを提案する。 提案手法は,大規模なバッチから数学的に証明された高品質画像を再構成する。 MKORは、クライアントに秘密に修正されたパラメータを送信することしか要求せず、クライアントの勾配更新から入力イメージを効率的かつ不明瞭に再構築することができる。 MNIST, CIFAR-100, ImageNetにおけるMKORの性能を評価し, 最新技術と比較した。 その結果、mkorは既存のアプローチよりも優れており、flのプライバシ保護に関するさらなる研究の必要性が高まり、包括的な防御アプローチが開発されることが示されている。

関連論文リスト

• FedAR: Addressing Client Unavailability in Federated Learning with Local Update Approximation and Rectification [8.747592727421596]
  フェデレートラーニング(FL)は、クライアントがサーバの調整の下で機械学習モデルを協調的にトレーニングすることを可能にする。 FedARは、すべてのクライアントをグローバルモデルアップデートに参加させて、サーバ上の高品質なグローバルモデルを達成することができます。 FedARはまた、多くのクライアントが存在し、クライアントが利用できないという印象的なパフォーマンスを描いている。
  論文  参考訳（メタデータ） (2024-07-26T21:56:52Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• Approximate and Weighted Data Reconstruction Attack in Federated Learning [1.802525429431034]
  分散学習(FL)は、クライアントがプライベートデータを共有せずに、機械学習モデルを構築するためのコラボレーションを可能にする。 最近のデータ再構成攻撃は、攻撃者がFLで共有されたパラメータに基づいてクライアントのトレーニングデータを復元できることを実証している。 本稿では、クライアントのローカルトレーニングプロセスの中間モデル更新を生成することにより、FedAvgシナリオの攻撃を可能にする近似手法を提案する。
  論文  参考訳（メタデータ） (2023-08-13T17:40:56Z)
• FedBug: A Bottom-Up Gradual Unfreezing Framework for Federated Learning [36.18217687935658]
  Federated Learning(FL)は、複数のクライアントが共有モデルにコントリビュート可能な、協調的なトレーニングフレームワークを提供する。 ローカルデータセットの異種性のため、更新されたクライアントモデルは、クライアントドリフトの問題として知られる、互いにオーバーフィットし、分岐する可能性がある。 クライアントのドリフトを効果的に軽減する新しいFLフレームワークであるFedBugを提案する。
  論文  参考訳（メタデータ） (2023-07-19T05:44:35Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• FedCliP: Federated Learning with Client Pruning [3.796320380104124]
  フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。 マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
  論文  参考訳（メタデータ） (2023-01-17T09:15:37Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients [124.48732110742623]
  フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。 BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。 遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
  論文  参考訳（メタデータ） (2020-12-02T12:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。