論文の概要: Hierarchical Federated Learning with SignSGD: A Highly Communication-Efficient Approach

• arxiv url: http://arxiv.org/abs/2602.02355v1
• Date: Mon, 02 Feb 2026 17:18:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.318936
• Title: Hierarchical Federated Learning with SignSGD: A Highly Communication-Efficient Approach
• Title（参考訳）: SignSGDを用いた階層型フェデレーション学習 : コミュニケーション効率の高いアプローチ
• Authors: Amirreza Kazemi, Seyed Mohammad Azimi-Abarghouyi, Gabor Fodor, Carlo Fischione,
• Abstract要約: Hierarchical Edge Learning (HFL)は、大規模ワイヤレスおよびIoTシステムの鍵として登場した。 符号に基づく勾配降下法(SignSGD)のような方法が不可欠であるが、既存の理論やアルゴリズムは自然に階層的な設定にまで拡張しない。 スケーラブルなHFLアルゴリズムであるHierSignSGDを導入し、階層的な設定でSignSGDの収束解析を行う。
• 参考スコア（独自算出の注目度）: 16.51305515824504
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hierarchical federated learning (HFL) has emerged as a key architecture for large-scale wireless and Internet of Things systems, where devices communicate with nearby edge servers before reaching the cloud. In these environments, uplink bandwidth and latency impose strict communication limits, thereby making aggressive gradient compression essential. One-bit methods such as sign-based stochastic gradient descent (SignSGD) offer an attractive solution in flat federated settings, but existing theory and algorithms do not naturally extend to hierarchical settings. In particular, the interaction between majority-vote aggregation at the edge layer and model aggregation at the cloud layer, and its impact on end-to-end performance, remains unknown. To bridge this gap, we propose a highly communication-efficient sign-based HFL framework and develop its corresponding formulation for nonconvex learning, where devices send only signed stochastic gradients, edge servers combine them through majority-vote, and the cloud periodically averages the obtained edge models, while utilizing downlink quantization to broadcast the global model. We introduce the resulting scalable HFL algorithm, HierSignSGD, and provide the convergence analysis for SignSGD in a hierarchical setting. Our core technical contribution is a characterization of how biased sign compression, two-level aggregation intervals, and inter-cluster heterogeneity collectively affect convergence. Numerical experiments under homogeneous and heterogeneous data splits show that HierSignSGD, despite employing extreme compression, achieves accuracy comparable to or better than full-precision stochastic gradient descent while reducing communication cost in the process, and remains robust under aggressive downlink sparsification.
• Abstract（参考訳）: 階層的フェデレーション学習(HFL)は、クラウドに到達する前にデバイスが近くのエッジサーバと通信する大規模ワイヤレスおよびIoTシステムのキーアーキテクチャとして登場した。 これらの環境では、アップリンク帯域幅とレイテンシは厳しい通信制限を課すため、攻撃的な勾配圧縮が不可欠である。 符号ベースの確率勾配勾配(SignSGD)のような一ビット法は、フラットなフェデレーション設定において魅力的な解を提供するが、既存の理論やアルゴリズムは自然に階層的な設定に拡張しない。 特に、エッジ層における多数投票集約とクラウド層におけるモデル集約の相互作用と、エンドツーエンドのパフォーマンスへの影響は、いまだ不明である。 このギャップを埋めるため、通信効率の高い符号ベースのHFLフレームワークを提案し、非凸学習のための対応する定式化を開発し、そこでは、デバイスが署名された確率勾配のみを送信し、エッジサーバが多数投票でそれらを結合し、クラウドは、ダウンリンク量子化を利用してグローバルモデルをブロードキャストする。 得られたスケーラブルなHFLアルゴリズムであるHierSignSGDを導入し、階層的な設定でSignSGDの収束解析を行う。 我々の中心となる技術的貢献は、偏りのある符号圧縮、二段階のアグリゲーション間隔、クラスタ間不均一性が収束にどのように影響するかを特徴づけることである。 等質・異質なデータ分割による数値実験により、ハイアサインSGDは極端に圧縮されているにもかかわらず、その過程における通信コストを低減しつつ、完全精度の確率的勾配降下に匹敵する精度を達成し、アグレッシブなダウンリンクスペーシフィケーションの下でも頑健であることが示された。

関連論文リスト

• CoCo-Fed: A Unified Framework for Memory- and Communication-Efficient Federated Learning at the Wireless Edge [50.42067935605982]
  ローカルメモリの効率とグローバル通信の削減を両立させる新しい圧縮・結合型学習フレームワークを提案する。 CoCo-Fedは、メモリと通信効率の両方において最先端のベースラインを著しく上回り、非IID設定下では堅牢な収束を維持している。
  論文  参考訳（メタデータ） (2026-01-02T03:39:50Z)
• Hierarchical Federated Learning with Multi-Timescale Gradient Correction [24.713834338757195]
  本稿では,この問題を解決するためにMTGC法を提案する。 私たちのキーとなる考え方は、(i)グループ勾配のクライアント勾配を補正する、すなわち、個々のデータセットに基づいたローカル更新によるクライアントモデルのドリフトを減らすために、異なる制御を導入することです。
  論文  参考訳（メタデータ） (2024-09-27T05:10:05Z)
• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Adaptive Hierarchical SpatioTemporal Network for Traffic Forecasting [70.66710698485745]
  本稿では,AHSTN(Adaptive Hierarchical SpatioTemporal Network)を提案する。 AHSTNは空間階層を利用し、マルチスケール空間相関をモデル化する。 2つの実世界のデータセットの実験により、AHSTNはいくつかの強いベースラインよりも優れたパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T14:50:27Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• $z$-SignFedAvg: A Unified Stochastic Sign-based Compression for Federated Learning [14.363110221372274]
  フェデレートラーニング(FL)は、将来性のあるプライバシ保護型分散ラーニングパラダイムである。 FLは、大規模な機械学習モデルをトレーニングする際に、高い通信コストに悩まされる。 信号ベース圧縮のための一般対称雑音分布を用いた新しい雑音摂動方式を提案する。
  論文  参考訳（メタデータ） (2023-02-06T06:54:49Z)
• Communication-Efficient Distributed SGD with Compressed Sensing [24.33697801661053]
  中央サーバに接続されたエッジデバイスの集合に対する大規模分散最適化について検討する。 近年のフェデレート学習の進歩に触発されて,通信負担を軽減するために,分散勾配降下(SGD)型アルゴリズムを提案する。 我々は,通信チャネルによって発生する雑音摂動の存在下でのアルゴリズムの収束に関する理論的解析を行い,その効果を裏付ける数値実験を行う。
  論文  参考訳（メタデータ） (2021-12-15T02:10:45Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• Accelerated Gradient Descent Learning over Multiple Access Fading Channels [9.840290491547162]
  N分散エッジデバイスとパラメータサーバ(PS)からなる無線ネットワークにおける分散学習問題を考える。 そこで我々は, ノイズフェージングMAC上での運動量に基づく勾配信号を用いて, 既存の手法と比較して収束率を向上する, 高速勾配多重アクセス(AGMA)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-26T19:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。