論文の概要: Optimizing Stochastic Gradient Push under Broadcast Communications

• arxiv url: http://arxiv.org/abs/2604.15549v1
• Date: Thu, 16 Apr 2026 21:56:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.660295
• Title: Optimizing Stochastic Gradient Push under Broadcast Communications
• Title（参考訳）: 放送通信における確率勾配の最適化
• Authors: Tuan Nguyen, Ting He,
• Abstract要約: 本稿では,無線ネットワークにおける分散化フェデレーション学習(DFL)のコンバージェンス時間を最小化する問題について考察する。 我々は,反復間の収束率と反復毎の通信要求を同時に制御するマトリックス設計の混合に焦点をあてる。 提案手法は, 学習モデルの品質を損なうことなく, コンバージェンス時間を大幅に短縮できることを示す。
• 参考スコア（独自算出の注目度）: 5.019739507685787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of minimizing the convergence time for decentralized federated learning (DFL) in wireless networks under broadcast communications, with focus on mixing matrix design. The mixing matrix is a critical hyperparameter for DFL that simultaneously controls the convergence rate across iterations and the communication demand per iteration, both strongly influencing the convergence time. Although the problem has been studied previously, existing solutions are mostly designed for decentralized parallel stochastic gradient descent (D-PSGD), which requires the mixing matrix to be symmetric and doubly stochastic. These constraints confine the activated communication graph to undirected (i.e., bidirected) graphs, which limits design flexibility. In contrast, we consider mixing matrix design for stochastic gradient push (SGP), which allows asymmetric mixing matrices and hence directed communication graphs. By analyzing how the convergence rate of SGP depends on the mixing matrices, we extract an objective function that explicitly depends on graph-theoretic parameters of the activated communication graph, based on which we develop an efficient design algorithm with performance guarantees. Our evaluations based on real data show that the proposed solution can notably reduce the convergence time compared to the state of the art without compromising the quality of the trained model.
• Abstract（参考訳）: 放送通信における無線ネットワークにおける分散化フェデレーション学習(DFL)の収束時間を最小化する問題を考える。 混合行列はDFLの臨界ハイパーパラメータであり、繰り返し間の収束率とイテレーション毎の通信需要を同時に制御し、どちらも収束時間に強い影響を及ぼす。 この問題はこれまで研究されてきたが、既存の解は主に分散並列確率勾配降下(D-PSGD)のために設計されており、混合行列は対称的かつ二重確率的である必要がある。 これらの制約は、アクティベートされた通信グラフを、設計の柔軟性を制限する非指向グラフ(すなわち双方向グラフ)に限定する。 対照的に、非対称な混合行列および従って有向通信グラフを可能にする確率勾配プッシュ(SGP)の混合行列設計について検討する。 SGPの収束率が混合行列にどのように依存するかを解析することにより、活性化通信グラフのグラフ理論パラメータに明示的に依存する目的関数を抽出し、性能保証付き効率的な設計アルゴリズムを開発する。 実データに基づく評価の結果,提案手法は,訓練されたモデルの品質を損なうことなく,最先端技術と比較して収束時間を著しく短縮できることがわかった。

関連論文リスト

• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Balancing Symmetry and Efficiency in Graph Flow Matching [33.80974796363154]
  厳密な等式と制御可能な対称性変調の間のグラフ生成モデルのトレードオフについて検討する。 対称性信号の適切な変調は収束を加速しながらオーバーフィッティングを遅らせることを示す。
  論文  参考訳（メタデータ） (2026-02-20T09:17:57Z)
• Time-varying Mixing Matrix Design for Energy-efficient Decentralized Federated Learning [6.831984901330601]
  本稿では, 収束までのノード当たりのエネルギー消費を最小化することを目的とした, マトリックス設計を混合するための理論的に最適化された解を提案する。 実データに基づく評価では, スパース混合行列の低エネルギー消費と高密度混合行列の高速収束を組み合わせ, 提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-12-30T08:24:28Z)
• Learning Time-Varying Graphs from Incomplete Graph Signals [1.7430416823420511]
  グラフから欠落したデータを出力する問題を解くために,効率的な交互方向乗算アルゴリズムを開発した。 提案したADMMスキームが収束し,定常点を導出することを示す。
  論文  参考訳（メタデータ） (2025-10-19T11:12:13Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• GP-FL: Model-Based Hessian Estimation for Second-Order Over-the-Air Federated Learning [52.295563400314094]
  2次法は学習アルゴリズムの収束率を改善するために広く採用されている。 本稿では,無線チャネルに適した新しい2次FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-05T04:27:41Z)
• On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
  高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
  論文  参考訳（メタデータ） (2023-10-30T17:55:28Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。