論文の概要: Echo: Error-Compensated 4-Bit Tensor-Parallel Communication for LLM Training and Inference

• arxiv url: http://arxiv.org/abs/2610.14277v1
• Date: Fri, 09 Oct 2026 19:49:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.028214
• Title: Echo: Error-Compensated 4-Bit Tensor-Parallel Communication for LLM Training and Inference
• Title（参考訳）: エコー:LLMトレーニングと推論のための誤り補償4ビットテンソル・パラレル通信
• Abstract要約: 累積誤差を制御するトレーニングと推論のための4ビット全リデューサであるEchoを提案する。 A100 GPUでは、Echoは1GBメッセージで16ビットのNCCLの全リデュースよりも2.09倍高速である。
• 参考スコア（独自算出の注目度）: 55.13512491286105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor parallelism ends every layer with an all-reduce that sits between two dependent matrix multiplications, so its cost cannot be hidden and grows as compute outpaces interconnect bandwidth. Sending 4-bit instead of 16-bit values would cut this cost by nearly 4x, but the all-reduce must add the values it carries, and rounding the sum injects an error at every call. Model quality depends on how these errors accumulate over layers, yet existing methods treat each call on its own. We present Echo, a 4-bit all-reduce for training and inference that controls the accumulated error. Echo moves data in 4 bits and sums in high precision, so each value is quantized at most twice per call for any number of GPUs. The summation reveals each injected error, and Echo feeds it back into later calls, so old errors cancel instead of accumulating. We prove that the accumulated error stays bounded independently of depth. On A100 GPUs, Echo is 2.09x faster than the 16-bit NCCL all-reduce on 1 GB messages. It speeds up the time to first token by up to 1.16x and the training step by up to 1.09x on an idle interconnect, and by up to 1.44x and 1.38x as background traffic grows. It keeps the average accuracy over seven benchmarks within 0.4 points of 16-bit inference on Qwen3-8B. In 10B-token pretraining, its final loss is less than 0.9% above that of 16-bit training. Echo needs no FP8 or FP4 hardware.
• Abstract（参考訳）: テンソル並列性は、すべての層を2つの依存行列乗法の間に位置する全リデューサで終わらせる。 16ビットの値の代わりに4ビットを送信すれば、このコストは4倍近く削減されるが、全リデューサは、その値を追加し、総和を丸めれば、呼び出し毎にエラーを発生させる必要がある。 モデルの品質は、これらのエラーが層の上にどのように蓄積されるかに依存するが、既存のメソッドは各呼び出しをそれ自体で扱う。 累積誤差を制御するトレーニングと推論のための4ビット全リデューサであるEchoを提案する。 Echoはデータを4ビット、合計を高い精度で転送するので、各値は任意の数のGPUに対して1回の呼び出しで最大2倍に量子化される。 合計すると、各インジェクトエラーが明らかになり、Echoは後続の呼び出しに返送されるため、古いエラーは蓄積される代わりにキャンセルされる。 累積誤差が深さとは無関係に有界であることを証明する。 A100 GPUでは、Echoは1GBメッセージで16ビットのNCCLの全リデュースよりも2.09倍高速である。 最初のトークンへの時間を最大1.16倍に、トレーニングステップを最大1.09倍に、バックグラウンドトラフィックが増加するにつれて最大1.44倍と1.38倍にスピードアップする。 Qwen3-8Bでは、16ビットの推測で7つのベンチマークの平均精度を0.4ポイントに維持する。 10B-tokenプレトレーニングでは、最終損失は16ビットトレーニングの0.9%以下である。 EchoにはFP8やFP4のハードウェアは必要ない。

関連論文リスト

• Recurrent Looped Transformer [55.3126277171095]
  Recurrent Looped Transformerはレイヤを並列因果エンコーダとリカレントデコーダに分割する。 2つのRTTは各シードで100%精度でパリティを256ビットに分割し、トランスフォーマーは偶然に残る。 トレーニング長の8倍のスワップベースの$S_5$置換トラッキングでは、RTTは最終状態の精度が97%に達し、Transformerは1%以下になった。
  論文  参考訳（メタデータ） (2026-10-06T01:29:46Z)
• SteerQuant: Steering Quantization Error with Action-Guided Scaling in World-Action Models [22.98743441380627]
  量子化は推論コストを低減させるが、異なるストリームの数値誤差は最終的な動作に著しく異なる影響を与える可能性がある。 本稿では,WAMの4ビット量子化フレームワークであるSteerQuantを紹介する。 また,WAMのための4ビット推論エンジンであるRudderを開発し,スケーリングと出力補償を低ビットカーネルに融合させる。
  論文  参考訳（メタデータ） (2026-09-30T06:00:48Z)
• Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM [0.0]
  ミニマ: NVFP4 W4A4は、GDNを含む496のリニア層である。 NVFP4の16要素ブロックのスケーリングが残ストリームの極端な外れ値の局所化の原因を説明する4つのメカニズムの研究がある。 ハイブリッド LLM の繰り返し半分が量子化し易い理由に関する力学的な説明。
  論文  参考訳（メタデータ） (2026-09-03T17:04:26Z)
• Voice Memory for Agentic Speech Recognition [66.69623133635868]
  エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。 同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。 10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
  論文  参考訳（メタデータ） (2026-07-29T02:42:56Z)
• Memory-Bound but Not Bandwidth-Limited: The Physical AI Inference Gap in Batch-1 LLM Decode [0.0]
  物理AIシステムは、クラウドのLLMサービスとは異なるワークロードを実行する。 4つのNVIDIA GPUにわたる7から8BクラスのGQA変換器のバッチ1デコードを測定する。 ピーク帯域幅はピーク帯域幅が増加するにつれて減少する。
  論文  参考訳（メタデータ） (2026-05-28T21:03:14Z)
• AGoQ: Activation and Gradient Quantization for Memory-Efficient Distributed Training of LLMs [9.35503487039164]
  量子化は、大規模言語モデル(LLM)のトレーニングにおけるGPUメモリ要求を減らすための重要な方法である 本稿では,AGoQを導入し,AGoQとAGoQの2つの新しい手法について紹介する。1)タイプとパイプラインステージに基づいて,各レイヤのアクティベーションに適切なビット幅を割り当てて,ほぼ4ビットのアクティベーションストレージを実現する階層型アクティベーション量子化アルゴリズム,2)8ビットのグラデーションストレージと精度保存8ビットのAll-Reduce通信を利用することで,メモリ使用率を低減し,通信時間を短縮する勾配量子化アルゴリズム。
  論文  参考訳（メタデータ） (2026-05-01T09:39:03Z)
• Towards Accurate and Efficient Sub-8-Bit Integer Training [24.853958178296587]
  量子化は、ニューラルネットワークトレーニングにおける低ビット幅フォーマットを可能にする。 最近の手法では、量子化器上での新しいデータフォーマットと追加の事前処理操作が開発されている。 高い精度と効率を同時に達成することは、依然として非常に難しい。
  論文  参考訳（メタデータ） (2024-11-17T03:32:36Z)
• Quantum error correction below the surface code threshold [107.92016014248976]
  量子誤り訂正は、複数の物理量子ビットを論理量子ビットに結合することで、実用的な量子コンピューティングに到達するための経路を提供する。 本研究では, リアルタイムデコーダと統合された距離7符号と距離5符号の2つの面符号メモリを臨界閾値以下で動作させる。 以上の結果から,大規模なフォールトトレラント量子アルゴリズムの動作要件を実現する装置の性能が示唆された。
  論文  参考訳（メタデータ） (2024-08-24T23:08:50Z)
• A Quadratic Synchronization Rule for Distributed Deep Learning [66.68264684667562]
  本研究は、擬似同期規則(QSR)と呼ばれる$H$を決定するための理論基底法を提案する。 ResNet と ViT の実験により、QSR を用いた局所勾配法は、他の同期戦略よりもテスト精度を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2023-10-22T21:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。