論文の概要: TAH-QUANT: Effective Activation Quantization in Pipeline Parallelism over Slow Network

• arxiv url: http://arxiv.org/abs/2506.01352v1
• Date: Mon, 02 Jun 2025 06:13:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.05238
• Title: TAH-QUANT: Effective Activation Quantization in Pipeline Parallelism over Slow Network
• Title（参考訳）: TAH-QUANT:低速ネットワーク上でのパイプライン並列化における有効活性化量子化
• Authors: Guangxin He, Yuan Cao, Yutong He, Tianyi Bai, Kun Yuan, Binhang Yuan,
• Abstract要約: 本稿では,パイプライン並列性に特化した新しいアクティベーション量子化フレームワークTAH-Quant(Tile-wise Adaptive Hadamard Quantization)を紹介する。 提案手法は,精密制御のための細粒度タイルワイド量子化,最適ビット使用のためのエントロピー誘導トークンレベル適応ビット割り当て,およびピボット要素スワップを用いたアダマール変換を統合し,量子化出力を効果的に抑制する。
• 参考スコア（独自算出の注目度）: 21.231881562816373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized training of large language models offers the opportunity to pool computational resources across geographically distributed participants but faces significant network communication bottlenecks, particularly in pipeline-parallel settings. While pipeline parallelism partitions model layers across devices to handle large-scale models, it necessitates frequent communication of intermediate activations, creating challenges when network bandwidth is limited. Existing activation compression methods, such as AQ-SGD, mitigate quantization-induced errors through error compensation but impose prohibitive memory overhead by requiring storage of previous activations. To address these issues, we introduce TAH-Quant (Tile-wise Adaptive Hadamard Quantization), a novel activation quantization framework designed specifically for pipeline parallelism. Our approach integrates fine-grained tile-wise quantization for precise control, entropy-guided token-level adaptive bit allocation for optimal bit usage, and a Hadamard-based transform with pivot element swapping to effectively suppress quantization outliers. We further provide a theoretical analysis, proving that pipeline parallel training equipped with TAH-Quant maintains a convergence rate of $\mathcal{O}(1/\sqrt{T})$, matching that of vanilla stochastic gradient descent. Extensive experiments on diverse LLM tasks demonstrate that TAH-Quant achieves aggressive activation quantization (3-4 bits) ratio, which provides up to 4.3$\times$ end-to-end speedup without compromising training convergence, matches state-of-the-art methods, incurs no extra memory overhead, and generalizes well across different training scenarios.
• Abstract（参考訳）: 大規模言語モデルの分散トレーニングは、地理的に分散した参加者間で計算リソースをプールする機会を提供するが、特にパイプライン並列設定において、ネットワーク通信のボトルネックに直面する。 パイプライン並列処理は、大規模なモデルを扱うためにデバイス間でモデルレイヤを分割するが、中間アクティベーションの頻繁な通信を必要とし、ネットワーク帯域幅が制限された場合の課題を生み出す。 AQ-SGDのような既存のアクティベーション圧縮手法は、誤り補償によって量子化によるエラーを緩和するが、以前のアクティベーションの保存を必要とすることで、禁止的なメモリオーバーヘッドを課す。 これらの問題に対処するために,パイプライン並列性に特化した新しいアクティベーション量子化フレームワークTAH-Quant(Tile-wise Adaptive Hadamard Quantization)を導入する。 提案手法は,精密制御のための細粒度タイルワイド量子化,最適ビット使用のためのエントロピー誘導トークンレベル適応ビット割り当て,およびピボット要素スワップを用いたアダマール変換を統合し,量子化出力を効果的に抑制する。 さらに理論解析を行い,TAH-Quantを用いたパイプライン並列トレーニングでは,バニラ確率勾配勾配の収束速度が$\mathcal{O}(1/\sqrt{T})$であることを示す。 多様なLLMタスクに関する大規模な実験は、TAH-Quantがアグレッシブなアクティベーション量子化(3-4ビット)比を達成し、トレーニング収束を損なうことなく最大4.3$\times$エンドツーエンドのスピードアップを実現し、最先端のメソッドにマッチし、メモリオーバーヘッドを余分に発生せず、異なるトレーニングシナリオでうまく一般化することを示した。

関連論文リスト

• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• AdaQAT: Adaptive Bit-Width Quantization-Aware Training [0.873811641236639]
  大規模ディープニューラルネットワーク(DNN)は多くのアプリケーションシナリオで大きな成功を収めています。 モデル量子化は、デプロイメントの制約に対処する一般的なアプローチであるが、最適化されたビット幅の探索は困難である。 AdaQAT(Adaptive Bit-Width Quantization Aware Training)は,学習中のビット幅を自動的に最適化し,より効率的な推論を行う学習手法である。
  論文  参考訳（メタデータ） (2024-04-22T09:23:56Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• PIPE : Parallelized Inference Through Post-Training Quantization Ensembling of Residual Expansions [23.1120983784623]
  PIPEは、残差誤差展開とグループ間隔とアンサンブル近似を利用して、より良い並列化を実現する量子化法である。 すべてのベンチマークアプリケーション(ビジョンからNLPタスクまで)、アーキテクチャ(ConvNet、トランスフォーマー、ビット幅)において、優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-27T13:29:34Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
  トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
  論文  参考訳（メタデータ） (2020-02-18T12:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。