論文の概要: SeedFlood: A Step Toward Scalable Decentralized Training of LLMs

• arxiv url: http://arxiv.org/abs/2602.18181v1
• Date: Fri, 20 Feb 2026 12:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.323381
• Title: SeedFlood: A Step Toward Scalable Decentralized Training of LLMs
• Title（参考訳）: SeedFlood: LLMのスケーラブルな分散トレーニングに向けたステップ
• Authors: Jihun Kim, Namhoon Lee,
• Abstract要約: SeedFloodは、複雑なネットワークトポロジにまたがる大規模なモデルをスケールし、最小限の通信オーバーヘッドでグローバルコンセンサスを達成するように設計されている。 分散LDMファインチューニング実験により,SeedFloodは一般化性能と通信効率の両方において,ゴシップベースラインを一貫して上回ることを示した。
• 参考スコア（独自算出の注目度）: 10.594403188699538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents a new approach to decentralized training-SeedFlood-designed to scale for large models across complex network topologies and achieve global consensus with minimal communication overhead. Traditional gossip-based methods suffer from message communication costs that grow with model size, while information decay over network hops renders global consensus inefficient. SeedFlood departs from these practices by exploiting the seed-reconstructible structure of zeroth-order updates and effectively making the messages near-zero in size, allowing them to be flooded to every client in the network. This mechanism makes communication overhead negligible and independent of model size, removing the primary scalability bottleneck in decentralized training. Consequently, SeedFlood enables training in regimes previously considered impractical, such as billion-parameter models distributed across hundreds of clients. Our experiments on decentralized LLM fine-tuning demonstrate thatSeedFlood consistently outperforms gossip-based baselines in both generalization performance and communication efficiency, and even achieves results comparable to first-order methods in large scale settings.
• Abstract（参考訳）: この研究は、分散トレーニング-SeedFloodの設計した、複雑なネットワークトポロジにわたる大規模モデルのスケールと、最小限の通信オーバーヘッドでグローバルコンセンサスを実現するための、新たなアプローチを示す。 従来のゴシップベースの手法は、モデルサイズで成長するメッセージ通信コストに悩まされる一方、ネットワークホップ上の情報の減衰は、グローバルなコンセンサスを非効率にする。 SeedFloodは、ゼロオーダ更新のシード再構成可能な構造を利用して、メッセージをゼロに近いサイズにすることで、ネットワーク内のすべてのクライアントにメッセージが溢れるようにすることで、これらのプラクティスから離れている。 このメカニズムは、通信オーバーヘッドを無視し、モデルのサイズに依存し、分散トレーニングにおける主要なスケーラビリティのボトルネックを取り除く。 その結果、SeedFloodは、何百ものクライアントに分散した10億パラメータモデルなど、これまで非現実的と考えられていたレギュレータでのトレーニングを可能にする。 分散LDMファインタニング実験により,SeedFloodは一般化性能と通信効率の両方においてゴシップベースラインを一貫して上回り,大規模設定における一階法に匹敵する結果も得られることを示した。

関連論文リスト

• On the Surprising Effectiveness of a Single Global Merging in Decentralized Learning [26.210904912836355]
  我々は、グローバルな一般化を改善するために、どのようにコミュニケーションをスケジュールするかを検討する。 単一のグローバルマージによって実装された最終段階における完全接続通信は、一般化性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2025-07-09T04:56:56Z)
• AB-Training: A Communication-Efficient Approach for Distributed Low-Rank Learning [0.07227323884094951]
  ABトレーニングは、低ランク表現と独立したトレーニンググループを活用して通信オーバーヘッドを低減する新しいデータ並列手法である。 実験では,様々なスケーリングシナリオにおいて,ネットワークトラフィックの約70.31%が平均で減少することを示した。
  論文  参考訳（メタデータ） (2024-05-02T07:49:28Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training [1.0413504599164103]
  フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。 FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。 本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
  論文  参考訳（メタデータ） (2023-04-15T06:46:37Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
  フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。 我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
  論文  参考訳（メタデータ） (2021-09-17T04:48:42Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
  フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。 一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。 本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-05-26T12:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。