論文の概要: The Entrapment Problem in Random Walk Decentralized Learning

• arxiv url: http://arxiv.org/abs/2407.20611v1
• Date: Tue, 30 Jul 2024 07:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 17:59:37.456937
• Title: The Entrapment Problem in Random Walk Decentralized Learning
• Title（参考訳）: ランダムウォーク分散学習における包絡問題
• Authors: Zonghong Liu, Salim El Rouayheb, Matthew Dwyer,
• Abstract要約: ローカルデータに基づくグローバルモデル更新にランダムウォークを利用する分散SGDアルゴリズムについて検討する。 我々の焦点は収束を早めるために遷移確率行列を設計することである。 本稿では,ランダムな摂動(ジャンプ)を組み込んだL'evy Jumps (MHLJ) アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 10.355835466049088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores decentralized learning in a graph-based setting, where data is distributed across nodes. We investigate a decentralized SGD algorithm that utilizes a random walk to update a global model based on local data. Our focus is on designing the transition probability matrix to speed up convergence. While importance sampling can enhance centralized learning, its decentralized counterpart, using the Metropolis-Hastings (MH) algorithm, can lead to the entrapment problem, where the random walk becomes stuck at certain nodes, slowing convergence. To address this, we propose the Metropolis-Hastings with L\'evy Jumps (MHLJ) algorithm, which incorporates random perturbations (jumps) to overcome entrapment. We theoretically establish the convergence rate and error gap of MHLJ and validate our findings through numerical experiments.
• Abstract（参考訳）: 本稿では,ノード間でデータを分散するグラフベースの分散学習について検討する。 ローカルデータに基づくグローバルモデル更新にランダムウォークを利用する分散SGDアルゴリズムについて検討する。 我々の焦点は収束を早めるために遷移確率行列を設計することである。 重要サンプリングは集中学習を高めることができるが、メトロポリス・ハスティングス(MH)アルゴリズムを用いた分散学習は、ランダムウォークが特定のノードで立ち往生し、収束が遅くなるという障害に繋がる可能性がある。 これを解決するために,ランダムな摂動(ジャンプ)を組み込んだL''evy Jumps (MHLJ) アルゴリズムを提案する。 MHLJの収束率と誤差ギャップを理論的に確立し,数値実験による検証を行った。

関連論文リスト

• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Walk for Learning: A Random Walk Approach for Federated Learning from Heterogeneous Data [17.978941229970886]
  私たちは標準的アプリケーションとしてフェデレートラーニング(FL)に注目します。 FLの主な課題の1つは、ノードとパラメータサーバの間の通信ボトルネックである。 適応型ランダムウォーク学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-01T19:53:24Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• Private Weighted Random Walk Stochastic Gradient Descent [21.23973736418492]
  グラフ内のノードに分散したデータを分散する分散学習環境を考える。 本稿では,データの一様サンプリングと重要サンプリングという2種類のランダムウォークに基づく2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-03T16:52:13Z)
• Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
  ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。 本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。 各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-17T18:14:30Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)
• Overlap Local-SGD: An Algorithmic Approach to Hide Communication Delays in Distributed SGD [32.03967072200476]
  We propose a algorithmic approach named OverlapLocal-Local-Local-SGD (Local momentum variant)。 各ノードにアンカーモデルを追加することでこれを実現する。 複数のローカルアップデートの後、ローカルにトレーニングされたモデルは、他の人と通信するのではなく、アンカーモデルへと引き戻される。
  論文  参考訳（メタデータ） (2020-02-21T20:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。