論文の概要: Smart Sampling: Helping from Friendly Neighbors for Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2407.04460v1
• Date: Fri, 5 Jul 2024 12:10:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 13:40:23.388804
• Title: Smart Sampling: Helping from Friendly Neighbors for Decentralized Federated Learning
• Title（参考訳）: スマートサンプリング: 分散学習のためのフレンドリーな隣人の支援
• Authors: Lin Wang, Yang Chen, Yongxin Guo, Xiaoying Tang,
• Abstract要約: 分散FL(DFL)における近傍のサンプリングと集約のための簡易かつ効率的なアルゴリズムであるAFIND+を導入する。 AFIND+は有用な隣人を識別し、選択された隣人の数を適応的に調整し、サンプルされた隣人のモデルを戦略的に集約する。 実世界のデータセットの数値的な結果は、AFIND+がDFLの他のサンプリングアルゴリズムより優れていることを示している。
• 参考スコア（独自算出の注目度）: 10.917048408073846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is gaining widespread interest for its ability to share knowledge while preserving privacy and reducing communication costs. Unlike Centralized FL, Decentralized FL (DFL) employs a network architecture that eliminates the need for a central server, allowing direct communication among clients and leading to significant communication resource savings. However, due to data heterogeneity, not all neighboring nodes contribute to enhancing the local client's model performance. In this work, we introduce \textbf{\emph{AFIND+}}, a simple yet efficient algorithm for sampling and aggregating neighbors in DFL, with the aim of leveraging collaboration to improve clients' model performance. AFIND+ identifies helpful neighbors, adaptively adjusts the number of selected neighbors, and strategically aggregates the sampled neighbors' models based on their contributions. Numerical results on real-world datasets with diverse data partitions demonstrate that AFIND+ outperforms other sampling algorithms in DFL and is compatible with most existing DFL optimization algorithms.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシの保護と通信コストの削減を図りながら知識を共有する能力に広く関心を集めている。 中央集権FLとは異なり、DFL(Decentralized FL)は中央サーバーの必要性を排除し、クライアント間の直接通信を可能にし、通信リソースの節約に繋がるネットワークアーキテクチャを採用している。 しかし、データの不均一性のため、近隣の全てのノードがローカルクライアントのモデル性能の向上に寄与するわけではない。 本研究では,クライアントのモデル性能を向上させるために協調を活用することを目的とした,DFL内の近隣住民のサンプリングと集約のための,シンプルで効率的なアルゴリズムである \textbf{\emph{AFIND+}} を紹介する。 AFIND+は有用な隣人を識別し、選択された隣人の数を適応的に調整し、その貢献に基づいてサンプルされた隣人のモデルを戦略的に集約する。 多様なデータ分割を持つ実世界のデータセットの数値結果から、AFIND+はDFLの他のサンプリングアルゴリズムよりも優れており、既存のDFL最適化アルゴリズムと互換性があることが示された。

関連論文リスト

• FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning [8.576433180938004]
  本稿では,新しいDFL集約アルゴリズムFederated Entropy Pooling (FedEP)を提案する。 FedEPは、実際のデータではなく、局所分布の統計特性を取り入れることで、クライアントのドリフト問題を緩和する。 実験により、FedEPは最先端のアプローチよりも早く収束し、高いテスト性能を示すことが示されている。
  論文  参考訳（メタデータ） (2024-10-10T07:39:15Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Efficient Model Compression for Hierarchical Federated Learning [10.37403547348343]
  フェデレートラーニング(FL)は、分散ラーニングシステム内のプライバシを保護する能力のために、大きな注目を集めている。 本稿では,クラスタ化FLとモデル圧縮の利点を統合した新しい階層型FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T12:17:47Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
  フェデレートラーニング(FL)がIoT(Internet of Things)で大人気 FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。 その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-15T10:13:44Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Joint Age-based Client Selection and Resource Allocation for Communication-Efficient Federated Learning over NOMA Networks [8.030674576024952]
  FL(Federated Learning)では、分散クライアントは、自身のトレーニングデータをローカルに保持しながら、共有グローバルモデルを共同でトレーニングすることができる。 本稿では,非直交多重アクセス(NOMA)を利用した無線ネットワーク上でのFLにおける各ラウンドの総時間消費を最小化することを目的とした,クライアント選択とリソース割り当ての協調最適化問題を定式化する。 さらに、各ラウンドで選択されていないクライアントのFLモデルを予測し、FL性能をさらに向上するために、サーバサイド人工知能ニューラルネットワーク(ANN)を提案する。
  論文  参考訳（メタデータ） (2023-04-18T13:58:16Z)
• Mining Latent Relationships among Clients: Peer-to-peer Federated Learning with Adaptive Neighbor Matching [6.959557494221414]
  フェデレートラーニング(FL)では、クライアントは多様な目的を持ち、すべてのクライアントの知識をひとつのグローバルモデルにマージすることで、ローカルパフォーマンスへの負の移行を引き起こす。 我々はP2P(P2P) FLを活用し、クライアントは中心サーバなしで隣人と通信する。 本稿では,クラスタ数を仮定することなく,効率的な通信トポロジを分散的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-23T09:10:14Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。