論文の概要: Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation

• arxiv url: http://arxiv.org/abs/2407.03086v2
• Date: Thu, 03 Oct 2024 12:45:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-05 03:34:29.673649
• Title: Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation
• Title（参考訳）: 効率的なハイパーネットワークに基づく重み生成による効果的な不均一なフェデレーション学習
• Authors: Yujin Shin, Kichang Lee, Sungmin Lee, You Rim Choi, Hyung-Sin Kim, JeongGil Ko,
• Abstract要約: クライアントの不均一性をサポートするための新しいフェデレーション学習フレームワークであるHypeMeFedを提案する。 このアプローチは、ヘテロジニアスモデル層の特徴空間を整列し、重み付け時の層間情報格差を解消する。 実世界の異種デバイステストベッドを用いた評価では、システムはFedAvgよりも5.12%精度を向上し、ハイパーネットワークメモリの要求を98.22%削減し、単純なハイパーネットワークアプローチに比べて1.86倍高速化する。
• 参考スコア（独自算出の注目度）: 5.3125752371246575
• License:
• Abstract: While federated learning leverages distributed client resources, it faces challenges due to heterogeneous client capabilities. This necessitates allocating models suited to clients' resources and careful parameter aggregation to accommodate this heterogeneity. We propose HypeMeFed, a novel federated learning framework for supporting client heterogeneity by combining a multi-exit network architecture with hypernetwork-based model weight generation. This approach aligns the feature spaces of heterogeneous model layers and resolves per-layer information disparity during weight aggregation. To practically realize HypeMeFed, we also propose a low-rank factorization approach to minimize computation and memory overhead associated with hypernetworks. Our evaluations on a real-world heterogeneous device testbed indicate that \system enhances accuracy by 5.12% over FedAvg, reduces the hypernetwork memory requirements by 98.22%, and accelerates its operations by 1.86x compared to a naive hypernetwork approach. These results demonstrate HypeMeFed's effectiveness in leveraging and engaging heterogeneous clients for federated learning.
• Abstract（参考訳）: フェデレーション学習は分散クライアントリソースを活用するが、異種クライアント機能による課題に直面している。 これは、クライアントのリソースに適合するモデルの割り当てと、この不均一性に対応するために注意深くパラメータアグリゲーションを必要とする。 マルチエグジットネットワークアーキテクチャとハイパーネットワークベースのモデル重み生成を組み合わせることで、クライアントの不均一性をサポートするための新しいフェデレート学習フレームワークであるHypeMeFedを提案する。 このアプローチは、ヘテロジニアスモデル層の特徴空間を整列し、重み付け時の層間情報格差を解消する。 また,HypeMeFedを現実的に実現するために,ハイパーネット処理に伴う計算とメモリオーバーヘッドを最小限に抑えるために,低ランク因子化手法を提案する。 実世界の異種デバイステストベッドを用いた評価では,システムがFedAvgよりも精度を5.12%向上し,ハイパーネットワークメモリの要求を98.22%低減し,単純なハイパーネットワークアプローチに比べて1.86倍高速化することが示された。 これらの結果から,HypeMeFedがフェデレーション学習にヘテロジニアスクライアントを活用・活用する効果が示された。

関連論文リスト

• Non-Federated Multi-Task Split Learning for Heterogeneous Sources [17.47679789733922]
  異種データソースのマルチタスク学習を効率的に行うための新しいアーキテクチャと方法論を提案する。 MTSLは,サーバとクライアントの学習率を調整することで,高速収束を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-05-31T19:27:03Z)
• Efficient Model Compression for Hierarchical Federated Learning [10.37403547348343]
  フェデレートラーニング(FL)は、分散ラーニングシステム内のプライバシを保護する能力のために、大きな注目を集めている。 本稿では,クラスタ化FLとモデル圧縮の利点を統合した新しい階層型FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T12:17:47Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。 本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:47:52Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• On the effectiveness of partial variance reduction in federated learning with heterogeneous data [27.527995694042506]
  クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。 そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。 同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-05T11:56:35Z)
• Genetic CFL: Optimization of Hyper-Parameters in Clustered Federated Learning [4.710427287359642]
  Federated Learning(FL)は、クライアントサーバアーキテクチャ、エッジコンピューティング、リアルタイムインテリジェンスを統合した、ディープラーニングのための分散モデルである。 FLは機械学習(ML)に革命を起こす能力を持っているが、技術的制限、通信オーバーヘッド、非IID(独立で同一の分散データ)、プライバシー上の懸念による実装の実践性に欠ける。 本稿では,遺伝的クラスタ化FL(Genetic CFL)と呼ばれるハイブリッドアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-15T10:16:05Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。