Fugu-MT 論文翻訳(概要): Jointly Computation- and Communication-Efficient Distributed Learning

論文の概要: Jointly Computation- and Communication-Efficient Distributed Learning

arxiv url: http://arxiv.org/abs/2508.15509v1
Date: Thu, 21 Aug 2025 12:36:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-22 16:26:46.325771
Title: Jointly Computation- and Communication-Efficient Distributed Learning
Title（参考訳）: 共同計算とコミュニケーション効率のよい分散学習
Authors: Xiaoxing Ren, Nicola Bastianello, Karl H. Johansson, Thomas Parisini,
Abstract要約: 我々は,共同計算と通信効率のよい新しいADMMベースのアルゴリズムを設計することに注力する。我々の設計は、エージェントが局所訓練中に勾配を使用できるようにすることで、計算効率を保証します。我々は,強い凸条件下でのアルゴリズムの正確な線形収束を証明した。
参考スコア（独自算出の注目度）: 3.2923780772605595
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We address distributed learning problems over undirected networks. Specifically, we focus on designing a novel ADMM-based algorithm that is jointly computation- and communication-efficient. Our design guarantees computational efficiency by allowing agents to use stochastic gradients during local training. Moreover, communication efficiency is achieved as follows: i) the agents perform multiple training epochs between communication rounds, and ii) compressed transmissions are used. We prove exact linear convergence of the algorithm in the strongly convex setting. We corroborate our theoretical results by numerical comparisons with state of the art techniques on a classification task.
Abstract（参考訳）: 非指向ネットワーク上での分散学習問題に対処する。具体的には,共同計算と通信効率のよい新しいADMMベースのアルゴリズムの設計に着目する。我々の設計は、エージェントが局所訓練中に確率勾配を使用できるようにすることで、計算効率を保証している。さらに、コミュニケーション効率は次のように達成される。一エージェントは、通信ラウンド間の複数の訓練エポックを実行し、二圧縮送電を使用すること。我々は,強い凸条件下でのアルゴリズムの正確な線形収束を証明した。分類タスクにおける最先端技術との比較により, 理論的結果の相関付けを行う。

関連論文リスト

Communication-Efficient Stochastic Distributed Learning [3.2923780772605595]
非および凸型、非指向型ネットワークの分散学習問題に対処する。特に,高通信コストの課題に対処するために,分散マルチプライヤの交換方法(MM)に基づく小説を設計する。
論文参考訳（メタデータ） (2025-01-23T10:05:23Z)
Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。 UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
論文参考訳（メタデータ） (2023-11-06T20:11:41Z)
Sparse Decentralized Federated Learning [35.32297764027417]
分散フェデレートラーニング(DFL)は、中央サーバーなしで協調的なモデルトレーニングを可能にするが、効率、安定性、信頼性の課題に直面している。 Sparse DFL (SDFL) に繋がる共有モデルに空間制約を導入し,新しいアルゴリズムCEPSを提案する。数値実験により,高い信頼性を維持しつつ,コミュニケーションと効率を向上させるための提案アルゴリズムの有効性が検証された。
論文参考訳（メタデータ） (2023-08-31T12:22:40Z)
Personalized Decentralized Multi-Task Learning Over Dynamic Communication Graphs [59.96266198512243]
本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
論文参考訳（メタデータ） (2022-12-21T18:58:24Z)
Federated Learning via Inexact ADMM [46.99210047518554]
本稿では,乗算器の不正確な交互方向法(ADMM)を提案する。どちらも通信効率が高く、ストラグラー効果と戦うことができ、穏やかな条件下で収束する。フェデレート学習のためのいくつかの最先端アルゴリズムと比較して高い数値性能を持つ。
論文参考訳（メタデータ） (2022-04-22T09:55:33Z)
AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
論文参考訳（メタデータ） (2021-09-26T07:56:10Z)
A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文参考訳（メタデータ） (2020-09-29T13:08:12Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)
Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文参考訳（メタデータ） (2020-03-25T10:49:22Z)
Communication-Efficient Distributed Deep Learning: A Comprehensive Survey [22.42450750097714]
本稿では,コミュニケーション効率のよい分散学習アルゴリズムの総合的な調査を行う。まず,データ並列分散トレーニングアルゴリズムの分類法を提案する。次に、これらの4次元の問題に対処する最先端の研究について検討する。
論文参考訳（メタデータ） (2020-03-10T05:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。