論文の概要: Population Scaling or Data Dilution? Dynamics of Local Topology Evolution in Decentralized Learning

• arxiv url: http://arxiv.org/abs/2610.05476v1
• Date: Sun, 04 Oct 2026 19:34:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.46066
• Title: Population Scaling or Data Dilution? Dynamics of Local Topology Evolution in Decentralized Learning
• Title（参考訳）: 人口拡大かデータ希釈か? 分散学習における局所的トポロジー進化のダイナミクス
• Abstract要約: 分散学習のスケーリングは、クライアントの数だけでなく、情報伝達とコンセンサスのダイナミクスも変化します。 CIFAR-10とNin10,50,100,200$の複合効果について検討した。
• 参考スコア（独自算出の注目度）: 6.470868467153127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling decentralized learning changes not only the number of clients $N$, but also the dynamics of information propagation and consensus. We argue that the effect of increasing $N$ cannot be understood in isolation, because data allocation, topology-dependent mixing, and communication capacity may change simultaneously. We study these coupled effects on CIFAR-10 with $N\in\{10,50,100,200\}$, comparing a degree-two Ring, a Static Random graph, and Local-First Heuristic Evolution (LFHE), a locally adaptive topology process based on friend-of-friend discovery. The Ring provides an analytically transparent failure mode: its Metropolis spectral gap decays as $Θ(N^{-2})$, implying progressively slower contraction of model disagreement as the population grows. Experiments show that holding the nominal local dataset size fixed substantially reduces the apparent population penalty observed when a fixed total dataset is divided among more clients. The remaining degradation depends strongly on communication structure: Ring enters a high-disagreement regime, whereas Static Random and LFHE remain close to consensus. Increasing LFHE's degree threshold further improves accuracy and consensus, but at a substantially higher model-transmission cost. These results show that decentralized scaling is governed by coupled learning and communication dynamics, rather than by the number of clients alone.
• Abstract（参考訳）: 分散学習のスケーリングは、クライアントの数だけでなく、情報伝達とコンセンサスのダイナミクスも変化します。 我々は、データ割り当て、トポロジ依存混合、通信容量が同時に変化する可能性があるため、$N$の増加効果は単独では理解できないと論じる。 CIFAR-10と$N\in\{10,50,100,200\}$に対するこれらの結合効果を、友人発見に基づく局所適応的トポロジープロセスである2次リング、静的ランダムグラフ、およびローカルファーストヒューリスティック・エボリューション(LFHE)と比較した。 リングは分析的に透明な故障モードを提供する: メトロポリスのスペクトルギャップは、人口が増加するにつれて、モデル不一致の徐々に遅い収縮を示唆する$(N^{-2})$として崩壊する。 実験により、名目上の局所データセットサイズを固定すると、固定された全データセットをより多くのクライアントに分割した場合に観察される明らかな人口のペナルティが大幅に減少することが示された。 リングは高い分散状態に入るが、静的ランダムとLFHEは合意に近づいている。 LFHEの次数しきい値の上昇は精度とコンセンサスをさらに向上させるが、モデル送信コストはかなり高い。 これらの結果から,分散スケーリングは,クライアント数のみではなく,協調学習とコミュニケーションのダイナミクスによって管理されていることが示唆された。

関連論文リスト

• RIPPLE in Still Water: Zero-Shot Clustering in Federated Learning with Wavelet Scattering Transform [51.56484100374058]
  クラスタ化されたフェデレートラーニング(FL)は、クライアントを同じローカル分布のグループに分割し、クラスタ毎に1つの特別なモデルを訓練する。 本稿では、各クライアントのローカルデータのスペクトル特性からクラスタ割り当てを完全にオフラインで計算するクラスタリングFLフレームワークであるRIPPLEを提案する。
  論文  参考訳（メタデータ） (2026-10-02T09:35:39Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
  分散学習計算(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方が中央サーバなしでクライアントによって実行されるFL設定をキャプチャする。 $textttDSpodFL$は、ローカルグラデーションとアグリゲーションプロセスの両方において、$textitsporadicity$という一般的な概念に基づいて構築されたDFL方法論である。 $textttDSpodFL$は、さまざまなシステム設定のベースラインと比較して、改善されたスピードを一貫して達成する。
  論文  参考訳（メタデータ） (2024-02-05T19:02:19Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Fundamental Limits of Communication Efficiency for Model Aggregation in Distributed Learning: A Rate-Distortion Approach [54.311495894129585]
  本研究では,分散学習におけるモデルアグリゲーションの通信コストの限界について,速度歪みの観点から検討する。 SignSGDでは,ワーカノード間の相関を利用した通信利得が重要であることがわかった。
  論文  参考訳（メタデータ） (2022-06-28T13:10:40Z)
• Layer-wise Adaptive Model Aggregation for Scalable Federated Learning [11.669431684184536]
  フェデレートラーニング(Federated Learning)では、クライアント間でローカルモデルを集約する一般的なアプローチとして、完全なモデルパラメータの定期的な平均化がある。 我々は,スケーラブルなフェデレート学習のためのレイヤワイドモデルアグリゲーションスキームであるFedLAMAを提案する。
  論文  参考訳（メタデータ） (2021-10-19T22:49:04Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。