論文の概要: Democratizing LLM Training with the Edge: Challenges, Systems, and the Road Ahead

• arxiv url: http://arxiv.org/abs/2610.32215v1
• Date: Fri, 23 Oct 2026 06:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.406013
• Title: Democratizing LLM Training with the Edge: Challenges, Systems, and the Road Ahead
• Title（参考訳）: エッジによるLCMトレーニングの民主化 - 課題, システム, ロードアヘッド
• Abstract要約: 大規模言語モデル(LLM)は、大量のデータをトレーニングし、デプロイすることができる。 しかし、これらのモデルとそのトレーニングデータの高さは、集中型開発を持続しにくくしています。 本稿では,クラウドにホストされたパラメータサーバを中心に構築された統合システムアーキテクチャについて述べる。
• 参考スコア（独自算出の注目度）: 74.51334617162264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing computational power of modern GPU data centers has let a few industrial giants train and deploy large language models (LLMs) on massive amounts of data. Yet the sheer scale of these models and their training data makes centralized development increasingly hard to sustain, and at the same time shuts out smaller institutions that hold relevant private data but lack comparable infrastructure. In this paper, we organize our positions on distributed LLM training around the pretraining and fine-tuning paradigms, covering federated learning, split learning, and decentralized approaches, and we assess their readiness for geo-distributed settings with heterogeneous hardware and unreliable connectivity. We then present a {\em unified} system architecture built around a cloud-hosted parameter server that coordinates heterogeneous clients over outbound gRPC connections, reusing one communication, compression, and fault-tolerance stack for both pretraining and a family of fine-tuning methods. We validate the design with real geo-distributed experiments on GPT-2 Medium and Llama3-1B pretraining across multiple university sites, showing stable convergence under realistic conditions. Finally, we chart the road ahead, identifying open problems that span frontier model support, elastic fault tolerance, adaptive compression, federated alignment, privacy and trust, incentive design, and system--algorithm co-design, all of which must be addressed to make democratized LLM training a reality.
• Abstract（参考訳）: 現代のGPUデータセンターの計算能力の増大により、少数の大企業が大量のデータに基づいて大規模言語モデル(LLM)をトレーニングし、デプロイできるようになった。 しかし、これらのモデルとそのトレーニングデータの高いスケールは、中央集権的な開発を持続しにくくすると同時に、関連するプライベートデータを保持するが、同等のインフラを持たない小さな機関を閉鎖する。 本稿では,事前学習と微調整のパラダイムを中心とした分散LLMトレーニングの立場を整理し,フェデレートラーニング,分割学習,分散化アプローチを網羅し,不均一なハードウェアと信頼性の低い接続性を備えたジオ分散設定のための準備性を評価する。 次に、クラウドホストされたパラメータサーバを中心に構築されたシステムアーキテクチャを提案する。このアーキテクチャは、アウトバウンドgRPC接続上で異種クライアントをコーディネートし、1つの通信、圧縮、フォールトトレランススタックをプリトレーニングとファインチューニングの両方のために再利用する。 GPT-2 Medium と Llama3-1B を用いた実測地分散実験を行い, 実測条件下での安定収束性を検証した。 最後に、フロンティアモデルのサポート、弾力的フォールトトレランス、適応圧縮、連合アライメント、プライバシと信頼、インセンティブデザイン、システム-アルゴリズムの共同設計にまたがるオープンな問題を特定します。

関連論文リスト

• Distributed Federated Learning by Alternating Periods of Training [0.0]
  フェデレーション学習(Federated Learning)は、マシンラーニングに対するプライバシ重視のアプローチであり、モデルがローカルに利用可能なデータを持つクライアントデバイス上でトレーニングされ、中央サーバに集約される。 サーバ間通信機能を備えた複数サーバからなるフェデレーション学習のための分散学習手法を提案する。 そこで本研究では,クライアントデータ上でのローカルトレーニングとサーバ間のグローバルトレーニングを交互に行うDFL(Distributed Federated Learning)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-05T05:06:58Z)
• A Framework for testing Federated Learning algorithms using an edge-like environment [0.0]
  フェデレーテッド・ラーニング(FL)は、多くのクライアントが、データをプライベートかつ分散化しながら、単一の集中型モデルを協調的にトレーニングする機械学習パラダイムである。 グローバル集中型モデルアグリゲーションにおける局所モデルの貢献を正確に評価するのは簡単ではない。 これはFLにおける大きな挑戦の例であり、一般にデータ不均衡またはクラス不均衡として知られている。 本研究では,FLアルゴリズムをより容易かつスケーラブルに評価するためのフレームワークを提案し,実装した。
  論文  参考訳（メタデータ） (2024-07-17T19:52:53Z)
• Gradient-Congruity Guided Federated Sparse Training [31.793271982853188]
  Federated Learning(FL)は、データプライバシを保持しながら、このプロセスを容易にする分散機械学習技術である。 FLはまた、リソース制約のあるデバイスに関する高い計算コストや通信コストといった課題に直面している。 本研究では,動的スパーストレーニングと勾配一致検査を統合したFedSGC(Gradient-Congruity Guided Federated Sparse Training)を提案する。
  論文  参考訳（メタデータ） (2024-05-02T11:29:48Z)
• Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity [14.313847382199059]
  Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。 Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
  論文  参考訳（メタデータ） (2023-12-20T19:11:19Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)
• FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
  フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。 本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。 これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
  論文  参考訳（メタデータ） (2022-05-19T03:32:03Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。