論文の概要: Energy-efficient Decentralized Learning via Graph Sparsification

• arxiv url: http://arxiv.org/abs/2401.03083v2
• Date: Wed, 22 May 2024 19:55:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 11:46:15.484912
• Title: Energy-efficient Decentralized Learning via Graph Sparsification
• Title（参考訳）: グラフスカラー化によるエネルギー効率の高い分散学習
• Authors: Xusheng Zhang, Cho-Chun Chiu, Ting He,
• Abstract要約: 本研究の目的は,学習過程における通信要求を制御する混合行列を最適化することにより,分散学習のエネルギー効率を向上させることである。 完全連結基底トポロジーの特殊な場合に対して性能保証の解が提案され、一般の場合ではグリーディアルゴリズムが提案される。 実トポロジとデータセットに基づくシミュレーションにより、提案手法はトレーニングされたモデルの品質を維持しながら、最も忙しいノードでのエネルギー消費量を54%-76%削減できることを示した。
• 参考スコア（独自算出の注目度）: 6.290202502226849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work aims at improving the energy efficiency of decentralized learning by optimizing the mixing matrix, which controls the communication demands during the learning process. Through rigorous analysis based on a state-of-the-art decentralized learning algorithm, the problem is formulated as a bi-level optimization, with the lower level solved by graph sparsification. A solution with guaranteed performance is proposed for the special case of fully-connected base topology and a greedy heuristic is proposed for the general case. Simulations based on real topology and dataset show that the proposed solution can lower the energy consumption at the busiest node by 54%-76% while maintaining the quality of the trained model.
• Abstract（参考訳）: 本研究の目的は,学習過程における通信要求を制御する混合行列を最適化することにより,分散学習のエネルギー効率を向上させることである。 最先端の分散学習アルゴリズムに基づく厳密な解析により、グラフスカラー化により低レベルを解き、二段階最適化として定式化される。 完全連結基底トポロジーの特別な場合に対して保証された性能の解が提案され、一般の場合では強欲なヒューリスティックが提案される。 実トポロジとデータセットに基づくシミュレーションにより、提案手法はトレーニングされたモデルの品質を維持しながら、最も忙しいノードでのエネルギー消費量を54%-76%削減できることを示した。

関連論文リスト

• Boosting Fairness and Robustness in Over-the-Air Federated Learning [3.2088888904556123]
  オーバー・ザ・エア・コンピューティングは5G以上の通信戦略である。 minmax最適化による公平性とロバスト性の提供を目的としたOver-the-Airフェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T12:03:04Z)
• A Penalty-Based Method for Communication-Efficient Decentralized Bilevel Programming [14.35928967799696]
  バイレベルプログラミングは、その幅広い応用のために、最近この文献で注目を集めている。 基礎となる双レベル最適化問題は、1台のマシンか、星型ネットワークに接続された複数のマシンのどちらかによって解決される。 本稿では,このクラスの最適化問題を理論的に保証したペナルティ関数に基づく分散アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-08T08:39:30Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Reinforcement Learning for Battery Energy Storage Dispatch augmented with Model-based Optimizer [0.0]
  本稿では,物理モデルと学習アルゴリズムを組み合わせた分布レベルのOPF問題の解法を提案する。 提案手法の有効性をIEEE 34-bus と 123-bus の配電システムを用いて実証した。
  論文  参考訳（メタデータ） (2021-09-02T14:48:25Z)
• Decentralized Personalized Federated Learning for Min-Max Problems [79.61785798152529]
  本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。 この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。 両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-14T10:36:25Z)
• A Heuristically Assisted Deep Reinforcement Learning Approach for Network Slice Placement [0.7885276250519428]
  本稿では,Deep Reinforcement Learning(DRL)に基づくハイブリッド配置ソリューションと,Power of Two Choices原則に基づく専用最適化を提案する。 提案したHuristically-Assisted DRL (HA-DRL) は,他の最先端手法と比較して学習プロセスの高速化と資源利用の促進を可能にする。
  論文  参考訳（メタデータ） (2021-05-14T10:04:17Z)
• Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
  分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。 エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。 コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-04T07:52:34Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。