論文の概要: BASP: Communication-Efficient Batch-Aware Sequence Parallelism for LLM Training

• arxiv url: http://arxiv.org/abs/2609.03151v1
• Date: Wed, 02 Sep 2026 20:33:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.856825
• Title: BASP: Communication-Efficient Batch-Aware Sequence Parallelism for LLM Training
• Title（参考訳）: BASP:LLMトレーニングのための通信効率の良いバッチ対応シーケンス並列処理
• Abstract要約: BASP(Batch-Aware Sequence Parallelism)は、バッチ構造を利用して通信オーバーヘッドを削減するシーケンス並列化手法である。 BASPは、マイクロバッチサイズに応じて分離されたシーケンス並列グループに分割することで、バッチ構造を利用する。 NVIDIA A100クラスタの実験結果によると、BASPはエンドツーエンドのトレーニング時間を最大1.17～1.31倍改善している。
• 参考スコア（独自算出の注目度）: 0.48127184936824546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context reasoning for large language models (LLMs) is becoming increasingly important, but training over long sequences remains challenging due to massive memory and communication requirements. Sequence parallelism has emerged as an essential technique for addressing bottlenecks in long sequence LLM training. However, we observe that existing sequence parallelism methods are batch-agnostic and apply uniform sequence partitioning across all batch sizes, resulting in inefficient communication. In this paper, we introduce Batch- Aware Sequence Parallelism (BASP), a sequence parallelism approach that leverages batch structure to reduce communication overhead. BASP exploits batch structure by partitioning GPUs into disjoint sequence-parallel groups according to the micro- batch size. This design reduces the all-to-all communication group size, thereby localizing communication and improving training efficiency. Experimental results on an NVIDIA A100 cluster show that BASP improves end-to-end training time by up to 1.17 - 1.31x in Llama and Qwen models compared to standard sequence parallel baselines, while preserving identical model accuracy and memory usage.
• Abstract（参考訳）: 大規模言語モデル(LLM)の長文推論はますます重要になりつつあるが、大量のメモリと通信要求のため、長いシーケンスでのトレーニングは難しいままである。 シーケンス並列性はLLMトレーニングにおけるボトルネックに対処するための重要な手法として登場した。 しかし,既存のシーケンス並列化手法はバッチ非依存であり,全てのバッチサイズに均一なシーケンス分割を適用し,非効率な通信を実現する。 本稿では,バッチ構造を利用して通信オーバーヘッドを低減するシーケンス並列化手法であるBatch-Aware Sequence Parallelism (BASP)を紹介する。 BASPは、GPUをマイクロバッチサイズに応じて非結合シーケンス並列グループに分割することで、バッチ構造を利用する。 この設計により、全てのコミュニケーショングループのサイズが小さくなり、コミュニケーションのローカライズが図られ、訓練効率が向上する。 NVIDIA A100クラスタの実験結果によると、BASPは標準シーケンスの並列ベースラインと比較して、LlamaとQwenモデルのエンドツーエンドのトレーニング時間を最大1.17～1.31倍改善し、同じモデルの精度とメモリ使用率を維持している。

関連論文リスト

• HSAP: A Hierarchical Sequence-aware Parallelism for Hybrid-Context Generative Models [17.09673128667358]
  本稿では,集中型テンソル伝達と部分的注意計算の障害を克服する効率的なシーケンス・アウェア並列性アルゴリズムを提案する。 提案アルゴリズムはJITコンパイルを用いてNCCLレベルの全デバイスグループの通信戦略を最適化する。
  論文  参考訳（メタデータ） (2026-06-29T15:26:55Z)
• Learning to Share: Selective Memory for Efficient Parallel Agentic Systems [49.78267008828593]
  エージェントシステムは、反復的に推論する複数のエージェントを調整することで複雑なタスクを解決し、ツールを呼び出し、中間結果を交換する。 最近のアプローチでは、さまざまな推論の軌跡を探索するために、複数のエージェントチームが並行して運用されている。 我々は並列エージェントフレームワークのための学習された共有メモリ機構であるLearning to Share (LTS)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T18:20:21Z)
• PARALLELPROMPT: Extracting Parallelism from Large Language Model Queries [19.780108308260214]
  本稿では,自然ユーザプロンプトにおけるクエリ内並列性を測定する最初のベンチマークであるPARALLELPROMPTを紹介する。 我々のデータセットは、パブリックなLLMチャットログから37,000以上の実世界のプロンプトで構成されています。 並列戦略とシリアル戦略をベンチマークし、レイテンシ、構造的忠実度、セマンティック忠実度を計測する実行スイートを提供する。
  論文  参考訳（メタデータ） (2025-06-23T15:05:54Z)
• ByteScale: Efficient Scaling of LLM Training with a 2048K Context Length on More Than 12,000 GPUs [22.542224045868117]
  ByteScaleは、長いシーケンスと短いシーケンスの大規模な混合トレーニングのための効率的なフレームワークである。 ByteScaleはHybrid Data Parallelism(HDP)をベースにしている。 実験の結果,ByteScaleは最先端のトレーニングシステムよりも最大7.89倍優れていた。
  論文  参考訳（メタデータ） (2025-02-28T17:01:03Z)
• Dipper: Diversity in Prompts for Producing Large Language Model Ensembles in Reasoning tasks [77.40114523163892]
  DIPPERは、単一の大規模言語モデル(LLM)を効果的な推論時間アンサンブルに変換する、トレーニング不要のフレームワークである。 モデルに最適化された多様なプロンプトのセットを並列に供給することで、DIPPERは様々な推論パスを持ち込み、パフォーマンスの向上につながった。 我々は,3つのQwen2-MATH-1.5BインスタンスのDIPPERアンサンブルがより大きな7Bモデルより優れているMATHなどの推論ベンチマークにおいて,顕著な改善を実証的に示す。
  論文  参考訳（メタデータ） (2024-12-12T17:49:05Z)
• Mini-Sequence Transformer: Optimizing Intermediate Memory for Long Sequences Training [78.93900796545523]
  ミニシーケンス変換器(Mini-Sequence Transformer, MsT)は、非常に長いシーケンスを持つ高速かつ高精度なLLMトレーニング手法である。 MsTは入力シーケンスを分割し、中間メモリ使用量を減らすためにミニシーケンスを反復的に処理する。 huggingfaceライブラリと統合され、MsTはQwen、Mistral、Gemma-2の最大コンテキスト長を12-24倍に拡張した。
  論文  参考訳（メタデータ） (2024-07-22T01:52:30Z)
• DeepSpeed Ulysses: System Optimizations for Enabling Training of Extreme Long Sequence Transformer Models [34.74093040678323]
  我々は,高度に効率的かつスケーラブルなLDMトレーニングを実現するための,新しい,ポータブルで効果的な方法論であるDeepSpeed-Ulyssesを紹介した。 DeepSpeed-Ulyssesは、そのコアでシーケンス次元に沿って入力データを分割し、効率的なオール・ツー・オールの集合通信を用いて注意を払っている。 実験の結果、DeepSpeed-Ulyssesは既存のSOTAベースラインの4倍のシーケンス長で2.5倍高速であることがわかった。
  論文  参考訳（メタデータ） (2023-09-25T20:15:57Z)
• SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
  ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。 これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。 安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
  論文  参考訳（メタデータ） (2023-01-27T18:55:19Z)
• Parallel Training of GRU Networks with a Multi-Grid Solver for Long Sequences [1.9798034349981162]
  本稿では,GRU(Gated Recurrent Unit)ネットワークのための並列学習手法を提案する。 MGRITはシーケンスを複数の短いサブシーケンスに分割し、異なるプロセッサ上のサブシーケンスを並列に訓練する。 HMDB51データセットにおいて、各ビデオが画像シーケンスである実験結果から、新しい並列トレーニングスキームがシリアルアプローチよりも最大6.5$times$スピードアップを達成することを示した。
  論文  参考訳（メタデータ） (2022-03-07T11:32:44Z)
• TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models [60.23234205219347]
  TeraPipeは、Transformerベースの言語モデルの同期モデル並列トレーニングのための高性能トークンレベルのパイプライン並列アルゴリズムです。 TeraPipeは、AWSクラスタ上で1750億のパラメータを持つ最大のGPT-3モデルのトレーニングを5.0倍高速化できることを示す。
  論文  参考訳（メタデータ） (2021-02-16T07:34:32Z)
• Parallel Training of Deep Networks with Local Updates [84.30918922367442]
  ローカル並列性(Local Parallelism)は、グローバルバックプロパゲーションを切り捨てられたレイヤワイズバックプロパゲーションに置き換えることで、ディープネットワーク内の個々のレイヤのトレーニングを並列化するフレームワークである。 我々は、様々なアーキテクチャセットにわたるビジョンと言語領域の両方で結果を示し、局所的並列性は特に高コンピュートなシステムにおいて有効であることを見出した。
  論文  参考訳（メタデータ） (2020-12-07T16:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。