Fugu-MT 論文翻訳(概要): Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation

論文の概要: Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation

arxiv url: http://arxiv.org/abs/2407.03086v1
Date: Wed, 3 Jul 2024 13:15:12 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 14:16:16.220041
Title: Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation
Title（参考訳）: 効率的なハイパーネットワークに基づく重み生成による効果的な不均一なフェデレーション学習
Authors: Yujin Shin, Kichang Lee, Sungmin Lee, You Rim Choi, Hyung-Sin Kim, JeongGil Ko,
Abstract要約: クライアントの不均一性をサポートするための新しいフェデレーション学習フレームワークであるHypeMeFedを提案する。このアプローチは、ヘテロジニアスモデル層の特徴空間を整列し、重み付け時の層間情報格差を解消する。 HypeMeFedはFedAvgよりも5.12%精度を向上し、ハイパーネットワークメモリの要求を98.22%削減し、単純なハイパーネットワークアプローチに比べて1.86倍の動作を高速化する。
参考スコア（独自算出の注目度）: 5.3125752371246575
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While federated learning leverages distributed client resources, it faces challenges due to heterogeneous client capabilities. This necessitates allocating models suited to clients' resources and careful parameter aggregation to accommodate this heterogeneity. We propose HypeMeFed, a novel federated learning framework for supporting client heterogeneity by combining a multi-exit network architecture with hypernetwork-based model weight generation. This approach aligns the feature spaces of heterogeneous model layers and resolves per-layer information disparity during weight aggregation. To practically realize HypeMeFed, we also propose a low-rank factorization approach to minimize computation and memory overhead associated with hypernetworks. Our evaluations on a real-world heterogeneous device testbed indicate that HypeMeFed enhances accuracy by 5.12% over FedAvg, reduces the hypernetwork memory requirements by 98.22%, and accelerates its operations by 1.86 times compared to a naive hypernetwork approach. These results demonstrate HypeMeFed's effectiveness in leveraging and engaging heterogeneous clients for federated learning.
Abstract（参考訳）: フェデレーション学習は分散クライアントリソースを活用するが、異種クライアント機能による課題に直面している。これは、クライアントのリソースに適合するモデルの割り当てと、この不均一性に対応するために注意深くパラメータアグリゲーションを必要とする。マルチエグジットネットワークアーキテクチャとハイパーネットワークベースのモデル重み生成を組み合わせることで、クライアントの不均一性をサポートするための新しいフェデレート学習フレームワークであるHypeMeFedを提案する。このアプローチは、ヘテロジニアスモデル層の特徴空間を整列し、重み付け時の層間情報格差を解消する。また,HypeMeFedを現実的に実現するために,ハイパーネット処理に伴う計算とメモリオーバーヘッドを最小限に抑えるために,低ランク因子化手法を提案する。 HypeMeFedはFedAvgよりも5.12%精度を向上し、ハイパーネットワークメモリの要求を98.22%削減し、単純なハイパーネットワークアプローチに比べて1.86倍の動作を高速化する。これらの結果から,HypeMeFedがフェデレーション学習にヘテロジニアスクライアントを活用・活用する効果が示された。

関連論文リスト

Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文参考訳（メタデータ） (2025-01-17T04:00:50Z)
Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文参考訳（メタデータ） (2025-01-06T21:16:51Z)
Robust Federated Learning in the Face of Covariate Shift: A Magnitude Pruning with Hybrid Regularization Framework for Enhanced Model Aggregation [1.519321208145928]
Federated Learning(FL)は、共有モデルの共同開発を目指す個人に対して、有望なフレームワークを提供する。クライアント間のデータの分散の変化は、主に集約プロセスの不安定性によって、FL方法論に大きく影響します。本稿では,個々のパラメータのプルーニングと正規化技術を組み合わせて,個々のクライアントモデルのロバスト性を向上する新しいFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-19T16:22:37Z)
Non-Federated Multi-Task Split Learning for Heterogeneous Sources [17.47679789733922]
異種データソースのマルチタスク学習を効率的に行うための新しいアーキテクチャと方法論を提案する。 MTSLは,サーバとクライアントの学習率を調整することで,高速収束を実現することができることを示す。
論文参考訳（メタデータ） (2024-05-31T19:27:03Z)
Efficient Model Compression for Hierarchical Federated Learning [10.37403547348343]
フェデレートラーニング(FL)は、分散ラーニングシステム内のプライバシを保護する能力のために、大きな注目を集めている。本稿では,クラスタ化FLとモデル圧縮の利点を統合した新しい階層型FLフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-27T12:17:47Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文参考訳（メタデータ） (2023-09-04T10:47:52Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
On the effectiveness of partial variance reduction in federated learning with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文参考訳（メタデータ） (2022-12-05T11:56:35Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。