論文の概要: Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification

• arxiv url: http://arxiv.org/abs/2310.19558v2
• Date: Wed, 3 Apr 2024 16:33:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 22:56:57.445589
• Title: Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification
• Title（参考訳）: モデルスカラー化を伴う非凸・非平滑問題に対するプライバシ保護型初等二元学習
• Authors: Yiwei Li, Chien-Wei Huang, Shuai Wang, Chong-Yung Chi, Tony Q. S. Quek,
• Abstract要約: FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
• 参考スコア（独自算出の注目度）: 51.04894019092156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) has been recognized as a rapidly growing research area, where the model is trained over massively distributed clients under the orchestration of a parameter server (PS) without sharing clients' data. This paper delves into a class of federated problems characterized by non-convex and non-smooth loss functions, that are prevalent in FL applications but challenging to handle due to their intricate non-convexity and non-smoothness nature and the conflicting requirements on communication efficiency and privacy protection. In this paper, we propose a novel federated primal-dual algorithm with bidirectional model sparsification tailored for non-convex and non-smooth FL problems, and differential privacy is applied for privacy guarantee. Its unique insightful properties and some privacy and convergence analyses are also presented as the FL algorithm design guidelines. Extensive experiments on real-world data are conducted to demonstrate the effectiveness of the proposed algorithm and much superior performance than some state-of-the-art FL algorithms, together with the validation of all the analytical results and properties.
• Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントのデータを共有することなく、パラメータサーバ(PS)のオーケストレーションの下で、大規模な分散クライアント上でモデルをトレーニングする、急速に成長する研究領域として認識されている。 本稿では,非凸性および非平滑性損失関数を特徴とするフェデレーション問題を,FLアプリケーションで広く普及しているが,非凸性と非平滑性の性質が複雑であり,通信効率とプライバシ保護の矛盾が原因で対処が困難である。 本稿では,非凸および非滑らかなFL問題に適した双方向モデルスペーシフィケーションを備えた新しいフェデレーション原始双対アルゴリズムを提案し,プライバシ保証に差分プライバシを適用した。 その独特な洞察力のある性質とプライバシーと収束分析もFLアルゴリズム設計ガイドラインとして提示されている。 実世界のデータに対する大規模な実験を行い、提案アルゴリズムの有効性を実証し、解析結果と特性の検証とともに、いくつかの最先端のFLアルゴリズムよりもはるかに優れた性能を示す。

関連論文リスト

• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
  クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。 近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。 本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
  論文  参考訳（メタデータ） (2023-10-12T19:07:58Z)
• UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
  フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。 本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。 この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-09-16T11:30:29Z)
• Feature Matching Data Synthesis for Non-IID Federated Learning [7.740333805796447]
  フェデレーション学習(FL)は、中央サーバでデータを収集することなく、エッジデバイス上でニューラルネットワークをトレーニングする。 本稿では,局所モデル以外の補助データを共有するハード特徴マッチングデータ合成(HFMDS)手法を提案する。 プライバシーの保存性を向上するため,本研究では,実際の特徴を決定境界に向けて伝達する機能拡張手法を提案する。
  論文  参考訳（メタデータ） (2023-08-09T07:49:39Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• A Theoretical Perspective on Differentially Private Federated Multi-task Learning [12.935153199667987]
  プライバシーとユーティリティの両方に関して、協調学習モデルを開発する必要がある。 本稿では,クライアントレベルで保護する効果的なパラメータ転送差分プライバシーのための,新しいフェデレーションマルチタスクを提案する。 このような提案されたアルゴリズムに対して、プライバシユーティリティの両方の保証を提供するのは、当社が初めてです。
  論文  参考訳（メタデータ） (2020-11-14T00:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。