Fugu-MT 論文翻訳(概要): Multi-Layer Hierarchical Federated Learning with Quantization

論文の概要: Multi-Layer Hierarchical Federated Learning with Quantization

arxiv url: http://arxiv.org/abs/2505.08145v1
Date: Tue, 13 May 2025 00:47:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-14 20:57:54.380693
Title: Multi-Layer Hierarchical Federated Learning with Quantization
Title（参考訳）: 量子化による階層型多層フェデレーション学習
Authors: Seyed Mohammad Azimi-Abarghouyi, Carlo Fischione,
Abstract要約: 階層型階層型学習フレームワーク(QMLHFL)を提案する。 QMLHFLは階層FLをネスト集約により任意の数の層とネットワークアーキテクチャに一般化する。この結果から,QMLHFLは高いデータ不均一性の下でも,常に高い学習精度を達成できることが示唆された。
参考スコア（独自算出の注目度）: 12.31724446119113
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Almost all existing hierarchical federated learning (FL) models are limited to two aggregation layers, restricting scalability and flexibility in complex, large-scale networks. In this work, we propose a Multi-Layer Hierarchical Federated Learning framework (QMLHFL), which appears to be the first study that generalizes hierarchical FL to arbitrary numbers of layers and network architectures through nested aggregation, while employing a layer-specific quantization scheme to meet communication constraints. We develop a comprehensive convergence analysis for QMLHFL and derive a general convergence condition and rate that reveal the effects of key factors, including quantization parameters, hierarchical architecture, and intra-layer iteration counts. Furthermore, we determine the optimal number of intra-layer iterations to maximize the convergence rate while meeting a deadline constraint that accounts for both communication and computation times. Our results show that QMLHFL consistently achieves high learning accuracy, even under high data heterogeneity, and delivers notably improved performance when optimized, compared to using randomly selected values.
Abstract（参考訳）: 既存の階層型フェデレーションラーニング(FL)モデルのほとんどは2層に制限されており、複雑な大規模ネットワークにおけるスケーラビリティと柔軟性を制限している。本研究では,複数の階層型階層型フェデレート学習フレームワーク(QMLHFL)を提案する。このフレームワークは,通信制約を満たすために層固有の量子化スキームを用いながら,階層型FLを任意の数のレイヤやネットワークアーキテクチャに一般化する最初の研究である。我々は,QMLHFLの総合収束解析を開発し,量子化パラメータ,階層構造,層内反復数といった重要な因子の影響を明らかにするための一般収束条件とレートを導出する。さらに、通信時間と計算時間の両方を考慮に入れた期限制約を満たしながら、収束率を最大化するために、層内反復の最適数を決定する。この結果から,QMLHFLは高いデータ均一性の下でも高い学習精度を一貫して達成し,ランダムに選択した値と比較して,最適化時に顕著な性能向上を実現していることがわかった。

関連論文リスト

Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
論文参考訳（メタデータ） (2024-08-19T07:43:35Z)
A Hierarchical Federated Learning Approach for the Internet of Things [3.28418927821443]
大規模IoTデプロイメントに適した新しいフェデレーション学習ソリューションQHetFedを提案する。我々は,QHetFedが常に高い学習精度を達成し,他の階層的アルゴリズムよりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2024-03-03T15:40:24Z)
Federated Quantum Long Short-term Memory (FedQLSTM) [58.50321380769256]
量子フェデレーション学習(QFL)は、量子機械学習(QML)モデルを使用して、複数のクライアント間の協調学習を容易にする。関数の近似に時間的データを利用するQFLフレームワークの開発に前向きな作業は行われていない。量子長短期メモリ(QLSTM)モデルと時間データを統合する新しいQFLフレームワークを提案する。
論文参考訳（メタデータ） (2023-12-21T21:40:47Z)
Federated Learning over Hierarchical Wireless Networks: Training Latency Minimization via Submodel Partitioning [15.311309249848739]
階層型独立サブモデルトレーニング(Hierarchical independent submodel training、HIST)は、階層型クラウド-エッジ-クライアントネットワークにおけるこれらの問題に対処することを目的とした新しいFL方法論である。本研究では,HISTを空気上計算(AirComp)で拡張することにより,エッジセル上でのモデルアグリゲーションの効率をより高めることができることを示す。
論文参考訳（メタデータ） (2023-10-27T04:42:59Z)
Efficient and Effective Deep Multi-view Subspace Clustering [9.6753782215283]
E$2$MVSC(Efficient and Effective Deep Multi-View Subspace Clustering)と呼ばれる新しいディープフレームワークを提案する。パラメータ化されたFC層の代わりに、より計算効率のよいサンプル数からネットワークパラメータスケールを分離するRelation-Metric Netを設計する。 E$2$MVSCは既存のメソッドに匹敵する結果を出し、様々なタイプのマルチビューデータセットで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-10-15T03:08:25Z)
Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-04T01:47:37Z)
WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文参考訳（メタデータ） (2023-01-03T20:57:22Z)
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文参考訳（メタデータ） (2020-09-08T13:10:21Z)
Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
論文参考訳（メタデータ） (2020-02-25T18:28:39Z)
FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for Optical Flow Estimation [72.41370576242116]
フレーム対からの光フロー推定のための半教師付き特徴ピラミッド相関・残留再構成ネットワーク(FPCR-Net)を提案する。ピラミッド相関マッピングと残留再構成の2つの主要なモジュールで構成されている。実験結果から,提案手法は,平均終点誤差 (AEE) に対して0.80, 1.15, 0.10の改善を達成し,最先端性能を実現していることがわかった。
論文参考訳（メタデータ） (2020-01-17T07:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。