論文の概要: Decentralized Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2406.06520v1
• Date: Mon, 10 Jun 2024 17:58:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 12:39:47.926502
• Title: Decentralized Personalized Federated Learning
• Title（参考訳）: 分散個人化フェデレーションラーニング
• Authors: Salma Kharrat, Marco Canini, Samuel Horvath,
• Abstract要約: 私たちは、パーソナライズされたモデルのトレーニングに適したコラボレータを選択する際に、各クライアントをガイドするコラボレーショングラフの作成に重点を置いています。 従来の手法とは違って,クライアントの欲求関係を考慮し,より粒度の細かい共同作業者を特定する。 これを実現するために,制約付きアルゴリズムを用いた二段階最適化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.5836393132815045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work tackles the challenges of data heterogeneity and communication limitations in decentralized federated learning. We focus on creating a collaboration graph that guides each client in selecting suitable collaborators for training personalized models that leverage their local data effectively. Our approach addresses these issues through a novel, communication-efficient strategy that enhances resource efficiency. Unlike traditional methods, our formulation identifies collaborators at a granular level by considering combinatorial relations of clients, enhancing personalization while minimizing communication overhead. We achieve this through a bi-level optimization framework that employs a constrained greedy algorithm, resulting in a resource-efficient collaboration graph for personalized learning. Extensive evaluation against various baselines across diverse datasets demonstrates the superiority of our method, named DPFL. DPFL consistently outperforms other approaches, showcasing its effectiveness in handling real-world data heterogeneity, minimizing communication overhead, enhancing resource efficiency, and building personalized models in decentralized federated learning scenarios.
• Abstract（参考訳）: この研究は、分散化フェデレーション学習におけるデータ不均一性と通信制限の課題に取り組む。 ローカルデータを効果的に活用するパーソナライズされたモデルのトレーニングに適したコラボレータを選択する際に、各クライアントをガイドするコラボレーショングラフの作成に注力する。 提案手法は,資源効率を向上させる新しいコミュニケーション効率戦略を通じて,これらの課題に対処する。 従来の手法とは違って,クライアントの組合せ関係を考慮し,コミュニケーションのオーバーヘッドを最小限に抑えながらパーソナライズを強化し,より粒度の細かい共同作業者を特定する。 我々は,制約付き欲求アルゴリズムを用いた二段階最適化フレームワークによりこれを達成し,個人化学習のための資源効率の高い協調グラフを作成した。 多様なデータセットにまたがる様々なベースラインに対する広範囲な評価は,DPFLと呼ばれる手法の優位性を示している。 DPFLは、実際のデータの不均一性、通信オーバーヘッドの最小化、リソース効率の向上、分散化されたフェデレーション学習シナリオにおけるパーソナライズされたモデルの構築などにおいて、他のアプローチよりも一貫して優れています。

関連論文リスト

• Personalized Federated Learning for Cross-view Geo-localization [49.40531019551957]
  本稿では,フェデレート・ラーニング (FL) とクロスビュー・イメージ・ジオローカライゼーション (CVGL) 技術を組み合わせた方法論を提案する。 提案手法では, クライアントが粗い特徴抽出器のみを共有しながら, 局所環境に特有のきめ細かな特徴を保持する, 粗い特徴抽出器を実装している。 その結果,フェデレートCVGL法は,データプライバシを維持しつつ,集中的なトレーニングに近い性能を実現することができた。
  論文  参考訳（メタデータ） (2024-11-07T13:25:52Z)
• Hierarchical Bayes Approach to Personalized Federated Unsupervised Learning [7.8583640700306585]
  階層型ベイズ統計フレームワークに着想を得た最適化基準に基づくアルゴリズムを開発する。 我々は,限られたローカルデータと協調情報とのバランスを検出する適応アルゴリズムを開発した。 提案アルゴリズムを合成データと実データを用いて評価し、パーソナライズされたタスクに対する効果的なサンプル増幅を実証した。
  論文  参考訳（メタデータ） (2024-02-19T20:53:27Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Decentralized Learning with Multi-Headed Distillation [12.90857834791378]
  プライベートデータによる分散学習は、機械学習の中心的な問題である。 本研究では, 個別の非IDデータを持つ複数のエージェントが相互に学習できる, 蒸留に基づく分散学習手法を提案する。
  論文  参考訳（メタデータ） (2022-11-28T21:01:43Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• A Field Guide to Federated Optimization [161.3779046812383]
  フェデレートされた学習と分析は、分散化されたデータからモデル(あるいは統計)を協調的に学習するための分散アプローチである。 本稿では、フェデレート最適化アルゴリズムの定式化、設計、評価、分析に関する勧告とガイドラインを提供する。
  論文  参考訳（メタデータ） (2021-07-14T18:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。