論文の概要: Federated Learning with Reduced Information Leakage and Computation

• arxiv url: http://arxiv.org/abs/2310.06341v2
• Date: Tue, 01 Oct 2024 04:44:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:32:05.150591
• Title: Federated Learning with Reduced Information Leakage and Computation
• Title（参考訳）: 情報漏洩の低減と計算によるフェデレーション学習
• Authors: Tongxin Yin, Xuwei Tan, Xueru Zhang, Mohammad Mahdi Khalili, Mingyan Liu,
• Abstract要約: フェデレートラーニング(Federated Learning, FL)は、分散学習パラダイムであり、複数の分散クライアントが、ローカルデータを共有せずに共通のモデルを共同で学習することを可能にする。 本稿では,モデル更新毎に一階近似を適用する手法であるUpcycled-FLを紹介する。 この戦略の下では、FL更新の半分は情報漏洩を伴わず、計算と送信のコストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 17.069452700698047
• License:
• Abstract: Federated learning (FL) is a distributed learning paradigm that allows multiple decentralized clients to collaboratively learn a common model without sharing local data. Although local data is not exposed directly, privacy concerns nonetheless exist as clients' sensitive information can be inferred from intermediate computations. Moreover, such information leakage accumulates substantially over time as the same data is repeatedly used during the iterative learning process. As a result, it can be particularly difficult to balance the privacy-accuracy trade-off when designing privacy-preserving FL algorithms. This paper introduces Upcycled-FL, a simple yet effective strategy that applies first-order approximation at every even round of model update. Under this strategy, half of the FL updates incur no information leakage and require much less computational and transmission costs. We first conduct the theoretical analysis on the convergence (rate) of Upcycled-FL and then apply two perturbation mechanisms to preserve privacy. Extensive experiments on both synthetic and real-world data show that the Upcycled-FL strategy can be adapted to many existing FL frameworks and consistently improve the privacy-accuracy trade-off.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)は、分散学習パラダイムであり、複数の分散クライアントが、ローカルデータを共有せずに共通のモデルを共同で学習することを可能にする。 ローカルデータは直接公開されていないが、クライアントの機密情報を中間計算から推測できるため、プライバシー上の懸念は存在する。 さらに、反復学習プロセス中に同じデータが繰り返し使用されるように、そのような情報漏洩は時間とともに実質的に蓄積される。 結果として、プライバシ保存FLアルゴリズムの設計において、プライバシと精度のトレードオフのバランスをとることが特に困難になる可能性がある。 本稿では,モデル更新毎に一階述語近似を適用する簡易かつ効果的な方法であるUpcycled-FLを紹介する。 この戦略の下では、FL更新の半分は情報漏洩を伴わず、計算と送信のコストを大幅に削減する。 そこで我々はまず,Upcycled-FLの収束速度に関する理論的解析を行い,プライバシーを守るために2つの摂動機構を適用した。 合成データと実世界のデータの両方に対する大規模な実験は、Upcycled-FL戦略が既存の多くのFLフレームワークに適応し、プライバシーと精度のトレードオフを継続的に改善できることを示している。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Value of Information and Timing-aware Scheduling for Federated Learning [24.40692354824834]
  Federated Learning (FL)は、トレーニング中にデータのプライバシを保存するソリューションを提供する。 FLは、アクセスポイント(AP)によるローカルトレーニングのために、ユーザー機器(UE)に直接モデルをもたらす。
  論文  参考訳（メタデータ） (2023-12-16T17:51:22Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Federated Learning with Privacy-Preserving Ensemble Attention Distillation [63.39442596910485]
  Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。 本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。 我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
  論文  参考訳（メタデータ） (2022-10-16T06:44:46Z)
• Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
  Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。 既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。 我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
  論文  参考訳（メタデータ） (2022-09-10T05:20:31Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• Towards Federated Learning on Time-Evolving Heterogeneous Data [13.080665001587281]
  Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。 異種データの最適化に関する最近の研究にもかかわらず、実世界のシナリオにおける異種データの時間進化の影響は十分に研究されていない。 本稿では,FLの時間発展的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-25T14:58:52Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。