論文の概要: Decentralized Learning via Random Walk with Jumps

• arxiv url: http://arxiv.org/abs/2604.12260v1
• Date: Tue, 14 Apr 2026 04:23:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.231076
• Title: Decentralized Learning via Random Walk with Jumps
• Title（参考訳）: ジャンプによるランダムウォークによる分散学習
• Authors: Zonghong Liu, Matthew Dwyer, Salim El Rouayheb,
• Abstract要約: 中央コーディネータを使わずにノード間でデータを分散するネットワーク上での分散学習について検討する。 本稿では,メトロポリス・ハスティングス・アルゴリズムによる重み付きサンプリングを行うことにより,未解明現象を包摂と呼ぶことができることを示す。
• 参考スコア（独自算出の注目度）: 4.695082366358543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study decentralized learning over networks where data are distributed across nodes without a central coordinator. Random walk learning is a token-based approach in which a single model is propagated across the network and updated at each visited node using local data, thereby incurring low communication and computational overheads. In weighted random-walk learning, the transition matrix is designed to achieve a desired sampling distribution, thereby speeding up convergence under data heterogeneity. We show that implementing weighted sampling via the Metropolis-Hastings algorithm can lead to a previously unexplored phenomenon we term entrapment. The random walk may become trapped in a small region of the network, resulting in highly correlated updates and severely degraded convergence. To address this issue, we propose Metropolis-Hastings with Levy jumps, which introduces occasional long-range transitions to restore exploration while respecting local information constraints. We establish a convergence rate that explicitly characterizes the roles of data heterogeneity, network spectral gap, and jump probability, and demonstrate through experiments that MHLJ effectively eliminates entrapment and significantly speeds up decentralized learning.
• Abstract（参考訳）: 中央コーディネータを使わずにノード間でデータを分散するネットワーク上での分散学習について検討する。 ランダムウォークラーニング(ランダムウォークラーニング)は、単一モデルがネットワーク全体に伝播し、各訪問ノードでローカルデータを使用して更新されるトークンベースのアプローチである。 重み付きランダムウォーク学習では、遷移行列は所望のサンプリング分布を達成するために設計され、データの不均一性の下で収束を高速化する。 本稿では,メトロポリス・ハスティングス・アルゴリズムによる重み付きサンプリングを行うことにより,未解明現象を包摂と呼ぶことができることを示す。 ランダムウォークはネットワークの小さな領域に閉じ込められ、高度に相関した更新と高度に劣化した収束をもたらす。 この問題に対処するために,局所的な情報制約を尊重しながら,探索を回復するための長距離遷移を時折導入する,レヴィジャンプを用いたメトロポリス・ハスティングを提案する。 我々は,データ不均一性,ネットワークスペクトルギャップ,ジャンプ確率といった役割を明示的に特徴付ける収束率を確立し,MHLJが効果的に侵入を排除し,分散学習を著しく高速化することを示す実験を行った。

関連論文リスト

• The Entrapment Problem in Random Walk Decentralized Learning [10.355835466049088]
  ローカルデータに基づくグローバルモデル更新にランダムウォークを利用する分散SGDアルゴリズムについて検討する。 我々の焦点は収束を早めるために遷移確率行列を設計することである。 本稿では,ランダムな摂動(ジャンプ)を組み込んだL'evy Jumps (MHLJ) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-30T07:36:13Z)
• Online Distributed Learning with Quantized Finite-Time Coordination [0.4910937238451484]
  私たちの設定では、エージェントのセットは、ストリーミングデータから学習モデルを協調的にトレーニングする必要があります。 本稿では,量子化された有限時間協調プロトコルに依存する分散アルゴリズムを提案する。 提案アルゴリズムの性能を,オンラインソリューションからの平均距離の観点から解析する。
  論文  参考訳（メタデータ） (2023-07-13T08:36:15Z)
• Decentralized Learning over Wireless Networks: The Effect of Broadcast with Random Access [56.91063444859008]
  本稿では,D-SGDのコンバージェンス性能に及ぼす放送送信と確率的ランダムアクセスポリシーの影響について検討する。 この結果から,アクセス確率を最適化し,期待されるリンク数の最大化が,システム収束を加速するための極めて効果的な戦略であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T10:32:26Z)
• RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
  分散機械学習では、労働者はローカルデータのモデル更新を計算する。 労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。 このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
  論文  参考訳（メタデータ） (2021-10-08T14:55:32Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。