論文の概要: Communication-Efficient LLM Adaptation over Decentralized GPU Meshes

• arxiv url: http://arxiv.org/abs/2609.14339v1
• Date: Sun, 13 Sep 2026 06:56:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.794854
• Title: Communication-Efficient LLM Adaptation over Decentralized GPU Meshes
• Title（参考訳）: 分散GPUメッシュを用いた通信効率の良いLLM適応
• Abstract要約: 本稿では,事前学習後適応のための非同期2回路システムを提案する。 高速圧縮トレーニング回路は、パイプライン並列転送と圧縮データ並列同期のためのマスキングアクティベーションを用いたスループットを駆動する。 マスクは,この方法で固定された場合,高い圧縮速度でプレトレーニング後の適応を支援する。
• 参考スコア（独自算出の注目度）: 48.95736135870457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized training enables large-model training over low-end GPUs and internet-grade connections, but communication along both data-parallel and pipeline-parallel axes becomes the primary bottleneck. We study post-pretraining adaptation in this setting. We propose an asynchronous two-circuit system: a fast compressed training circuit drives throughput using activation masking for pipeline-parallel (PP) transfer and compressed data-parallel (DP) synchronization, while a slow anchor circuit runs occasional unmasked forward--backward passes off the critical path. Then, we introduce a spectral correction optimizer that uses these delayed anchor priors to denoise masked gradients without blocking the fast stream. Although prior work has found aggressive activation compression unreliable, we show that masking supports post-pretraining adaptation at high compression rates when anchored this way. Pipeline-parallel compression alone yields up to a $9\times$ throughput gain, and combining it with data-parallel compression increases beyond $40\times$ over internet-grade $\sim 200$Mbps connections, while matching dense uncompressed performance across domain adaptation and continual pretraining.
• Abstract（参考訳）: 分散トレーニングは、ローエンドのGPUとインターネットグレードの接続に対する大規模なモデルトレーニングを可能にするが、データ並列とパイプライン並列の両方の軸による通信が主要なボトルネックとなる。 この設定における事前訓練後の適応について検討する。 高速圧縮トレーニング回路は、パイプライン並列(PP)転送と圧縮データ並列(DP)同期のためのアクティベーションマスクを用いてスループットを駆動し、低速アンカー回路は時折前向きに前向きに動作し、臨界経路を後退する。 次に,これらの遅延アンカーを用いたスペクトル補正オプティマイザを導入し,高速ストリームをブロックすることなくマスマスキング勾配を識別する。 従来, アクティブなアクティベーション圧縮は信頼性が低いが, マスクは, 高い圧縮速度でプレトレーニング後の適応を支援する。 パイプライン並列圧縮だけでは、スループットが最大9\times$で、データ並列圧縮と組み合わせると、インターネットグレードの$\sim 200$Mbps接続で40\times$以上増加します。

関連論文リスト

• Mixtures of Subspaces for Bandwidth Efficient Context Parallel Training [54.43685601795611]
  分散環境における通信効率のよいコンテキスト並列化のための圧縮手法を提案する。 我々の重要な洞察は、アクティベーション出力の本質的な低ランク構造を、学習されたサブスペースの混合に動的に拘束することで活用することである。
  論文  参考訳（メタデータ） (2026-06-15T08:17:13Z)
• Learned Subspace Compression for Communication-Efficient Pipeline Parallelism [24.2079184778031]
  パイプライン並列処理は、単一デバイスメモリを超える大きな言語モデルのトレーニングを可能にする。 低帯域ネットワークでトレーニングする際、段階間アクティベーション通信が主要なボトルネックとなる。 本稿では,段階間圧縮を学習可能な直交射影として扱う手法であるMAPL(Aware Manifold Projection Learning)を提案する。 我々は,MAPLが既存のパイプラインに容易に適用可能であることを示し,最適化性能を低下させることなく高い圧縮を実現することを示す。
  論文  参考訳（メタデータ） (2026-06-03T22:10:16Z)
• Efficient Learned Data Compression via Dual-Stream Feature Decoupling [11.752785837648199]
  本稿では,深層並列処理を浅層並列ストリームに置き換えるために,ローカルおよびグローバルコンテキストをアンハングするDual-Stream Multi-Scale Decouplerを提案する。 本手法は,低レイテンシとメモリ使用量を維持しながら,圧縮比とスループットの両面で最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-08T16:05:24Z)
• AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism [54.8494905524997]
  両方の並列処理軸をまたいだ非同期更新を導入し、コロケーション要求を緩和します。 スパース平均化と非同期更新の両方に対して収束保証を提供します。 大規模言語モデルを用いた実験により,本手法が完全同期ベースラインの性能と一致することを示した。
  論文  参考訳（メタデータ） (2026-01-30T01:24:47Z)
• Protocol Models: Scaling Decentralized Training with Communication-Efficient Model Parallelism [59.79227116582264]
  モデルスケーリングはディープラーニングの大幅な進歩につながったが、これらのモデルを分散環境でトレーニングすることは依然として難しい。 本研究では,前処理と後処理の両方を圧縮し,最大99%の圧縮が可能となる新しい圧縮アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-02T02:19:22Z)
• Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
  パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。 具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。 我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
  論文  参考訳（メタデータ） (2025-05-02T08:23:29Z)
• BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training [5.7294516069851475]
  BitPipeは、大規模なモデルのトレーニングを加速するための双方向のインターリーブパイプライン並列処理である。 最新の同期手法と比較して,BitPipeはGPTスタイルとBERTスタイルのモデルのトレーニングスループットを1.05x-1.28倍向上することを示す。
  論文  参考訳（メタデータ） (2024-10-25T08:08:51Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Accelerating Large Language Model Training with Hybrid GPU-based Compression [3.204387803072905]
  MPIライブラリはメッセージサイズを大幅に削減し、相互接続帯域幅を活用することが証明されている。 分散大言語モデル(LLM)学習における圧縮支援型MPI集団の有効性について検討した。
  論文  参考訳（メタデータ） (2024-09-04T04:05:30Z)
• On the Utility of Gradient Compression in Distributed Training Systems [9.017890174185872]
  本稿では,勾配圧縮法の有効性を評価し,そのスケーラビリティを同期データ並列sgdの最適化実装と比較する。 意外なことに、勾配圧縮によって引き起こされる計算オーバーヘッドのため、バニラデータ並列トレーニングのネットスピードアップは、負でなくても限界である。
  論文  参考訳（メタデータ） (2021-02-28T15:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。