論文の概要: Quantized Decentralized Stochastic Learning over Directed Graphs

• arxiv url: http://arxiv.org/abs/2002.09964v5
• Date: Mon, 28 Dec 2020 10:02:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 09:59:19.694034
• Title: Quantized Decentralized Stochastic Learning over Directed Graphs
• Title（参考訳）: 有向グラフによる分散確率学習の量子化
• Authors: Hossein Taheri, Aryan Mokhtari, Hamed Hassani, Ramtin Pedarsani
• Abstract要約: 有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 52.94011236627326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a decentralized stochastic learning problem where data points are distributed among computing nodes communicating over a directed graph. As the model size gets large, decentralized learning faces a major bottleneck that is the heavy communication load due to each node transmitting large messages (model updates) to its neighbors. To tackle this bottleneck, we propose the quantized decentralized stochastic learning algorithm over directed graphs that is based on the push-sum algorithm in decentralized consensus optimization. More importantly, we prove that our algorithm achieves the same convergence rates of the decentralized stochastic learning algorithm with exact-communication for both convex and non-convex losses. Numerical evaluations corroborate our main theoretical results and illustrate significant speed-up compared to the exact-communication methods.
• Abstract（参考訳）: 本稿では,データポイントを有向グラフ上で通信するノード間で分散する分散確率学習問題を考察する。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人に大きなメッセージ(モデル更新)を送信するため、通信負荷の重い大きなボトルネックに直面します。 このボトルネックに対処するために、分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化確率学習アルゴリズムを提案する。 さらに, このアルゴリズムは, 凸損失と非凸損失の双方に対して, 正確なコミュニケーションを伴う分散確率学習アルゴリズムと同じ収束率を実現する。 数値評価により, 主な理論結果が一致し, 正確な通信方法に比べ, 大幅な高速化が示された。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Optimal Complexity in Decentralized Training [45.468216452357375]
  差分のみで下界を達成できるゴシップ型分散アルゴリズムを提案する。 DeTAGはベースライン,特に未シャッフルデータやスパースネットワークにおいて,より高速な収束を享受できることを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:03:04Z)
• Communication-efficient Variance-reduced Stochastic Gradient Descent [0.0]
  通信効率のよい分散最適化の問題を考える。 特に、分散還元勾配に着目し、通信効率を高めるための新しいアプローチを提案する。 実データセットの包括的理論的および数値解析により、我々のアルゴリズムは通信の複雑さを95%減らし、ほとんど顕著なペナルティを伴わないことが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-10T13:22:16Z)
• Gradient tracking and variance reduction for decentralized optimization and machine learning [19.54092620537586]
  有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。 分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-02-13T07:17:07Z)
• Distributed Learning in the Non-Convex World: From Batch to Streaming Data, and Beyond [73.03743482037378]
  分散学習は、多くの人々が想定する、大規模に接続された世界の重要な方向となっている。 本稿では、スケーラブルな分散処理とリアルタイムデータ計算の4つの重要な要素について論じる。 実践的な問題や今後の研究についても論じる。
  論文  参考訳（メタデータ） (2020-01-14T14:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。