論文の概要: Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping

• arxiv url: http://arxiv.org/abs/2111.02949v1
• Date: Thu, 4 Nov 2021 15:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 17:03:59.452338
• Title: Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping
• Title（参考訳）: 非線形ゴシップを用いた分散最適化のための有限時間合意学習
• Authors: Junya Chen, Sijia Wang, Lawrence Carin, Chenyang Tao
• Abstract要約: 本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。 コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
• 参考スコア（独自算出の注目度）: 77.53019031244908
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed learning has become an integral tool for scaling up machine learning and addressing the growing need for data privacy. Although more robust to the network topology, decentralized learning schemes have not gained the same level of popularity as their centralized counterparts for being less competitive performance-wise. In this work, we attribute this issue to the lack of synchronization among decentralized learning workers, showing both empirically and theoretically that the convergence rate is tied to the synchronization level among the workers. Such motivated, we present a novel decentralized learning framework based on nonlinear gossiping (NGO), that enjoys an appealing finite-time consensus property to achieve better synchronization. We provide a careful analysis of its convergence and discuss its merits for modern distributed optimization applications, such as deep neural networks. Our analysis on how communication delay and randomized chats affect learning further enables the derivation of practical variants that accommodate asynchronous and randomized communications. To validate the effectiveness of our proposal, we benchmark NGO against competing solutions through an extensive set of tests, with encouraging results reported.
• Abstract（参考訳）: 分散学習は、機械学習をスケールアップし、データプライバシの増大に対処するための重要なツールになっている。 ネットワークトポロジにはロバストだが、分散学習スキームは、パフォーマンス面での競争力の低い集中型スキームほど人気は得られていない。 本研究では,分散学習作業者間の同期性の欠如を問題として,経験的・理論的に,作業者間の収束率が同期レベルに結び付いていることを示す。 このようなモチベーションを生かした非線形ゴシップ(NGO)に基づく新たな分散学習フレームワークを提案する。 我々は、その収束を慎重に分析し、ディープニューラルネットワークのような現代の分散最適化アプリケーションにその利点を論じる。 通信遅延とランダム化チャットが学習に与える影響を解析することにより,非同期およびランダム化通信に対応する実用的な変種を導出することができる。 提案の有効性を検証するために,広範なテストを通じてngoを競合ソリューションと比較し,その結果を奨励する。

関連論文リスト

• Edge AI Collaborative Learning: Bayesian Approaches to Uncertainty Estimation [0.0]
  独立エージェントが遭遇するデータの空間的変動を考慮した学習結果における信頼度の決定に焦点をあてる。 協調マッピングタスクをシミュレートするために,Webotsプラットフォームを用いた3次元環境シミュレーションを実装した。 実験により,BNNは分散学習コンテキストにおける不確実性推定を効果的に支援できることが示された。
  論文  参考訳（メタデータ） (2024-10-11T09:20:16Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• DRACO: Decentralized Asynchronous Federated Learning over Continuous Row-Stochastic Network Matrices [7.389425875982468]
  DRACOは、行確率ゴシップ無線ネットワーク上での分散非同期Descent(SGD)の新しい手法である。 我々のアプローチは、分散ネットワーク内のエッジデバイスが、連続したタイムラインに沿ってローカルトレーニングとモデル交換を行うことを可能にする。 我々の数値実験は提案手法の有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2024-06-19T13:17:28Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Networked Communication for Decentralised Agents in Mean-Field Games [59.01527054553122]
  平均フィールドゲームフレームワークにネットワーク通信を導入する。 当社のアーキテクチャは、中央集権型と独立した学習ケースの双方で保証されていることを証明しています。
  論文  参考訳（メタデータ） (2023-06-05T10:45:39Z)
• Communication-Efficient Adaptive Federated Learning [17.721884358895686]
  フェデレーション・ラーニング(Federated Learning)は、機械学習のパラダイムであり、クライアントが独自のローカライズされたデータを共有せずに、モデルの共同トレーニングを可能にする。 実際には、連合学習の実装は、大きな通信オーバーヘッドなど、多くの課題に直面している。 理論的収束を保証する新しいコミュニケーション効率適応学習法(FedCAMS)を提案する。
  論文  参考訳（メタデータ） (2022-05-05T15:47:04Z)
• Asynchronous Upper Confidence Bound Algorithms for Federated Linear Bandits [35.47147821038291]
  本稿では,同種クライアントと異種クライアントの集合に対する非同期モデル更新と通信を行う汎用フレームワークを提案する。 この分散学習フレームワークにおける後悔とコミュニケーションのコストに関する厳密な理論的分析が提供される。
  論文  参考訳（メタデータ） (2021-10-04T14:01:32Z)
• Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
  分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。 エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。 コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-04T07:52:34Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。