論文の概要: Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping
- arxiv url: http://arxiv.org/abs/2111.02949v1
- Date: Thu, 4 Nov 2021 15:36:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-05 17:03:59.452338
- Title: Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping
- Title(参考訳): 非線形ゴシップを用いた分散最適化のための有限時間合意学習
- Authors: Junya Chen, Sijia Wang, Lawrence Carin, Chenyang Tao
- Abstract要約: 本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。
コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
- 参考スコア(独自算出の注目度): 77.53019031244908
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distributed learning has become an integral tool for scaling up machine
learning and addressing the growing need for data privacy. Although more robust
to the network topology, decentralized learning schemes have not gained the
same level of popularity as their centralized counterparts for being less
competitive performance-wise. In this work, we attribute this issue to the lack
of synchronization among decentralized learning workers, showing both
empirically and theoretically that the convergence rate is tied to the
synchronization level among the workers. Such motivated, we present a novel
decentralized learning framework based on nonlinear gossiping (NGO), that
enjoys an appealing finite-time consensus property to achieve better
synchronization. We provide a careful analysis of its convergence and discuss
its merits for modern distributed optimization applications, such as deep
neural networks. Our analysis on how communication delay and randomized chats
affect learning further enables the derivation of practical variants that
accommodate asynchronous and randomized communications. To validate the
effectiveness of our proposal, we benchmark NGO against competing solutions
through an extensive set of tests, with encouraging results reported.
- Abstract(参考訳): 分散学習は、機械学習をスケールアップし、データプライバシの増大に対処するための重要なツールになっている。
ネットワークトポロジにはロバストだが、分散学習スキームは、パフォーマンス面での競争力の低い集中型スキームほど人気は得られていない。
本研究では,分散学習作業者間の同期性の欠如を問題として,経験的・理論的に,作業者間の収束率が同期レベルに結び付いていることを示す。
このようなモチベーションを生かした非線形ゴシップ(NGO)に基づく新たな分散学習フレームワークを提案する。
我々は、その収束を慎重に分析し、ディープニューラルネットワークのような現代の分散最適化アプリケーションにその利点を論じる。
通信遅延とランダム化チャットが学習に与える影響を解析することにより,非同期およびランダム化通信に対応する実用的な変種を導出することができる。
提案の有効性を検証するために,広範なテストを通じてngoを競合ソリューションと比較し,その結果を奨励する。
関連論文リスト
- Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳(メタデータ) (2023-03-01T06:16:15Z) - Optimal Complexity in Non-Convex Decentralized Learning over
Time-Varying Networks [8.860889476382594]
時間変化ネットワークによる分散最適化は、機械学習の新たなパラダイムである。
大規模な深層トレーニングでは通信オーバーヘッドが大幅に削減され、特にノードの移動時の無線シナリオでは堅牢になる。
論文 参考訳(メタデータ) (2022-11-01T15:37:54Z) - Communication-Efficient Adaptive Federated Learning [17.721884358895686]
フェデレーション・ラーニング(Federated Learning)は、機械学習のパラダイムであり、クライアントが独自のローカライズされたデータを共有せずに、モデルの共同トレーニングを可能にする。
実際には、連合学習の実装は、大きな通信オーバーヘッドなど、多くの課題に直面している。
理論的収束を保証する新しいコミュニケーション効率適応学習法(FedCAMS)を提案する。
論文 参考訳(メタデータ) (2022-05-05T15:47:04Z) - Resource-Aware Asynchronous Online Federated Learning for Nonlinear
Regression [5.194557636096977]
非同期オンライン連合学習(ASO-Fed)
我々は、ASO-Fedに関連する通信オーバーヘッドを低減するために、部分共有ベースのコミュニケーションの原則を用いる。
非同期設定では、フェデレート勾配(Online-FedSGD)と同じ収束を達成することができる。
論文 参考訳(メタデータ) (2021-11-27T16:41:30Z) - Asynchronous Upper Confidence Bound Algorithms for Federated Linear
Bandits [35.47147821038291]
本稿では,同種クライアントと異種クライアントの集合に対する非同期モデル更新と通信を行う汎用フレームワークを提案する。
この分散学習フレームワークにおける後悔とコミュニケーションのコストに関する厳密な理論的分析が提供される。
論文 参考訳(メタデータ) (2021-10-04T14:01:32Z) - Decentralized Personalized Federated Learning for Min-Max Problems [82.6119578133503]
本稿では,より広い範囲の最適化問題を含むサドル点問題に対して,PFLを初めて検討した。
この問題に対処するための新しいアルゴリズムを提案し、滑らかな(強く)凸-(強く)凹点問題を理論的に解析する。
両線形問題に対する数値実験と, 対向雑音を有するニューラルネットワークは, 提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2021-06-14T10:36:25Z) - Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。
エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。
コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
論文 参考訳(メタデータ) (2021-04-04T07:52:34Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z) - A Low Complexity Decentralized Neural Net with Centralized Equivalence
using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。
我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。
本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文 参考訳(メタデータ) (2020-09-29T13:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。