論文の概要: Federated Learning with Reduced Information Leakage and Computation

• arxiv url: http://arxiv.org/abs/2310.06341v1
• Date: Tue, 10 Oct 2023 06:22:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 20:36:17.346576
• Title: Federated Learning with Reduced Information Leakage and Computation
• Title（参考訳）: 情報漏洩と計算量削減による連合学習
• Authors: Tongxin Yin, Xueru Zhang, Mohammad Mahdi Khalili, Mingyan Liu
• Abstract要約: フェデレートラーニング(Federated Learning, FL)は、分散学習パラダイムであり、複数の分散クライアントが、ローカルデータを共有せずに共通のモデルを共同で学習することを可能にする。 本稿では,偶数反復毎に一階近似を適用した新しいフェデレーション学習フレームワークであるUpcycled-FLを紹介する。 このフレームワークの下では、FL更新の半分は情報漏洩を発生させることなく、はるかに少ない計算を必要とする。
• 参考スコア（独自算出の注目度）: 20.005520306964485
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) is a distributed learning paradigm that allows multiple decentralized clients to collaboratively learn a common model without sharing local data. Although local data is not exposed directly, privacy concerns nonetheless exist as clients' sensitive information can be inferred from intermediate computations. Moreover, such information leakage accumulates substantially over time as the same data is repeatedly used during the iterative learning process. As a result, it can be particularly difficult to balance the privacy-accuracy trade-off when designing privacy-preserving FL algorithms. In this paper, we introduce Upcycled-FL, a novel federated learning framework with first-order approximation applied at every even iteration. Under this framework, half of the FL updates incur no information leakage and require much less computation. We first conduct the theoretical analysis on the convergence (rate) of Upcycled-FL, and then apply perturbation mechanisms to preserve privacy. Experiments on real-world data show that Upcycled-FL consistently outperforms existing methods over heterogeneous data, and significantly improves privacy-accuracy trade-off while reducing 48% of the training time on average.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散学習パラダイムであり、複数の分散クライアントがローカルデータを共有せずに共通のモデルを共同で学習できるようにする。 ローカルデータは直接公開されていないが、クライアントの機密情報を中間計算から推測できるため、プライバシー上の懸念は存在する。 また、反復学習プロセス中に同じデータを繰り返し使用するので、その情報漏洩は時間とともに実質的に蓄積される。 その結果、プライバシ保存型flアルゴリズムを設計する場合、プライバシ正確性のトレードオフのバランスをとることが特に困難になる可能性がある。 本稿では,偶数反復毎に一階近似を適用した新しいフェデレーション学習フレームワークであるUpcycled-FLを紹介する。 このフレームワークでは、fl更新の半分は情報漏洩を発生せず、計算量も大幅に削減される。 そこで我々はまず,Upcycled-FLの収束率に関する理論的解析を行い,その後,プライバシーを守るために摂動機構を適用した。 実世界のデータに関する実験によると、Upcycled-FLは異種データよりも既存の手法を一貫して上回り、平均トレーニング時間の48%を削減しながら、プライバシーと精度のトレードオフを大幅に改善している。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Value of Information and Timing-aware Scheduling for Federated Learning [24.40692354824834]
  Federated Learning (FL)は、トレーニング中にデータのプライバシを保存するソリューションを提供する。 FLは、アクセスポイント(AP)によるローカルトレーニングのために、ユーザー機器(UE)に直接モデルをもたらす。
  論文  参考訳（メタデータ） (2023-12-16T17:51:22Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Federated Learning with Privacy-Preserving Ensemble Attention Distillation [63.39442596910485]
  Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。 本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。 我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
  論文  参考訳（メタデータ） (2022-10-16T06:44:46Z)
• Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
  Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。 既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。 我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
  論文  参考訳（メタデータ） (2022-09-10T05:20:31Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• Towards Federated Learning on Time-Evolving Heterogeneous Data [13.080665001587281]
  Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。 異種データの最適化に関する最近の研究にもかかわらず、実世界のシナリオにおける異種データの時間進化の影響は十分に研究されていない。 本稿では,FLの時間発展的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-25T14:58:52Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。