論文の概要: FedCluster: Boosting the Convergence of Federated Learning via Cluster-Cycling

• arxiv url: http://arxiv.org/abs/2009.10748v1
• Date: Tue, 22 Sep 2020 18:04:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 22:05:59.602599
• Title: FedCluster: Boosting the Convergence of Federated Learning via Cluster-Cycling
• Title（参考訳）: FedCluster: クラスタサイクルによるフェデレーション学習の収束性を高める
• Authors: Cheng Chen, Ziyi Chen, Yi Zhou, Bhavya Kailkhura
• Abstract要約: 我々はFedClusterを開発し、効率を向上した新しい学習フレームワークを開発し、その理論的収束特性について検討する。 デバイスレベルの多様なアプリケーションにおいて,ディープラーニングデバイス上で実験を行う。
• 参考スコア（独自算出の注目度）: 25.53644376308003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop FedCluster--a novel federated learning framework with improved optimization efficiency, and investigate its theoretical convergence properties. The FedCluster groups the devices into multiple clusters that perform federated learning cyclically in each learning round. Therefore, each learning round of FedCluster consists of multiple cycles of meta-update that boost the overall convergence. In nonconvex optimization, we show that FedCluster with the devices implementing the local {stochastic gradient descent (SGD)} algorithm achieves a faster convergence rate than the conventional {federated averaging (FedAvg)} algorithm in the presence of device-level data heterogeneity. We conduct experiments on deep learning applications and demonstrate that FedCluster converges significantly faster than the conventional federated learning under diverse levels of device-level data heterogeneity for a variety of local optimizers.
• Abstract（参考訳）: 最適化効率を向上した新しいフェデレーション学習フレームワークであるFedClusterを開発し,その理論的収束特性について検討する。 FedClusterはデバイスを複数のクラスタにグループ化し、各学習ラウンドでフェデレーション学習を循環的に実行する。 したがって、FedClusterの各学習ラウンドは、全体的な収束を促進する複数のメタ更新サイクルで構成される。 非凸最適化では,sgd(local {stochasticgradient descent)アルゴリズムを実装したデバイスを用いたfeedclusterが,デバイスレベルのデータ不均一性が存在する場合,従来のfederated averaging(fedavg)アルゴリズムよりも高速に収束することを示す。 深層学習アプリケーションについて実験を行い、様々な局所最適化器のデバイスレベルのデータ不均一性において、フェデレーションが従来のフェデレーション学習よりもかなり高速に収束することを示す。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Spectral Clustering in Convex and Constrained Settings [0.0]
  半定スペクトルクラスタリングにペアワイズ制約をシームレスに統合する新しいフレームワークを提案する。 本手法は,半定スペクトルクラスタリングによって複雑なデータ構造を捕捉する能力を体系的に拡張する。
  論文  参考訳（メタデータ） (2024-04-03T18:50:14Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• CCFC: Bridging Federated Clustering and Contrastive Learning [9.91610928326645]
  本稿では,クラスタコントラスト・フェデレーション・クラスタリング(CCFC)という新しいフェデレーション・クラスタリング手法を提案する。 CCFCは、実用的な観点から、デバイス障害を扱う上で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-12T15:26:44Z)
• Dynamically Weighted Federated k-Means [0.0]
  フェデレートされたクラスタリングにより、複数のデータソースが協力してデータをクラスタリングし、分散化とプライバシ保護を維持できる。 我々は,ロイドのk-meansクラスタリング法に基づいて,動的に重み付けされたk-means (DWF k-means) という新しいクラスタリングアルゴリズムを提案する。 我々は、クラスタリングスコア、精度、およびv尺度の観点から、アルゴリズムの性能を評価するために、複数のデータセットとデータ分散設定の実験を行う。
  論文  参考訳（メタデータ） (2023-10-23T12:28:21Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems [118.00379425831566]
  我々はFedBiOAccという通信効率の高いアルゴリズムを提案する。 我々は、FedBiOAcc-Localがこの種の問題に対して同じ速度で収束していることを証明する。 実験結果から,アルゴリズムの性能が向上した。
  論文  参考訳（メタデータ） (2023-02-13T21:28:53Z)
• DeepCluE: Enhanced Image Clustering via Multi-layer Ensembles in Deep Neural Networks [53.88811980967342]
  本稿では,Ensembles (DeepCluE) を用いたDeep Clusteringを提案する。 ディープニューラルネットワークにおける複数のレイヤのパワーを活用することで、ディープクラスタリングとアンサンブルクラスタリングのギャップを埋める。 6つの画像データセットの実験結果から、最先端のディープクラスタリングアプローチに対するDeepCluEの利点が確認されている。
  論文  参考訳（メタデータ） (2022-06-01T09:51:38Z)
• Asynchronous Hierarchical Federated Learning [10.332084068006345]
  大量のサーバトラフィック、長い収束期間、信頼できない精度の問題を解決するために、非同期階層型フェデレーション学習を提案する。 特別な集約装置を選択して階層的な学習を可能にし、サーバの負担を大幅に軽減することができる。 CIFAR-10画像分類タスクにおける提案アルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2022-05-31T18:42:29Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)
• An Efficient Framework for Clustered Federated Learning [26.24231986590374]
  本稿では,ユーザがクラスタに分散するフェデレーション学習(FL)の問題に対処する。 反復フェデレーションクラスタリングアルゴリズム(IFCA)を提案する。 ニューラルネットワークのような非分割問題では,アルゴリズムが効率的であることを示す。
  論文  参考訳（メタデータ） (2020-06-07T08:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。