論文の概要: CHARM+: Cross-Hardware Attention with Re-Merge Multistream Mechanism

• arxiv url: http://arxiv.org/abs/2611.05906v1
• Date: Wed, 04 Nov 2026 03:57:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.935895
• Title: CHARM+: Cross-Hardware Attention with Re-Merge Multistream Mechanism
• Title（参考訳）: CHARM+: 再マージマルチストリーム機構を備えたクロスハードウェアアテンション
• Abstract要約: 再マージ型マルチストリーム機構を用いたCHARM+, クロスハードウェア・アテンションを提案する。 逐次通信を複数のレベルに再編成し、レベル内並列性と計算オーバーラップを実現する。 Ring-Attentionと比較して、我々の前方と後方のアルゴリズムは、デュアルNUMA PCIeアーキテクチャでは平均1.3xと1.7x、デュアルノードNVLinkアーキテクチャでは2.8xと2.9xを達成する。
• 参考スコア（独自算出の注目度）: 4.905282347825107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As sequence lengths continue to grow, distributed attention based on sequence parallel (e.g., Ring-Attention) has become a mainstream solution for large language models (LLMs). Nevertheless, inherent communication dependencies limit computation-communication overlap, reducing GPU utilization. Moreover, in cross-hardware (NUMA or node) architectures, due to imbalanced communication bandwidth, frequent communication synchronization will limit overall performance. Based on these insights, we propose CHARM+, Cross-Hardware Attention with Re-Merge Multistream Mechanism. We reorganize sequential communications into several levels and achieve intra-level parallelism and computation overlap. Furthermore, we decouple cross-hardware communication from intra-hardware communication, eliminating synchronization overhead caused by bandwidth imbalance. Forward and backward algorithms were evaluated on multiple hardware architectures and consistently outperformed state-of-the-art methods. Compared to Ring-Attention, our forward and backward algorithms achieve average speedups of 1.3x and 1.7x on a dual-NUMA PCIe architecture, and 2.8x and 2.9x on a dual-node NVLink architecture, respectively.
• Abstract（参考訳）: シーケンスの長さが増加し続けるにつれて、シーケンス並列(例えば、Ring-Attention)に基づく分散アテンションが、大規模言語モデル(LLM)の主流のソリューションとなっている。 それでも、固有の通信依存は計算と通信の重複を制限し、GPU使用率を低下させる。 さらに、クロスハードウェア(NUMAまたはノード)アーキテクチャでは、不均衡な通信帯域幅のため、頻繁な通信同期は全体的な性能を制限する。 これらの知見に基づいて,再マージ型マルチストリーム機構を用いたCHARM+,クロスハードウェア・アテンションを提案する。 逐次通信を複数のレベルに再編成し、レベル内並列性と計算オーバーラップを実現する。 さらに、ハードウェア間通信とハードウェア間通信を分離し、帯域幅不均衡に起因する同期オーバーヘッドを解消する。 フォワードとバックワードのアルゴリズムは、複数のハードウェアアーキテクチャで評価され、一貫して最先端の手法よりも優れていた。 Ring-Attentionと比較して、我々の前方と後方のアルゴリズムは、デュアルNUMA PCIeアーキテクチャでは平均1.3xと1.7x、デュアルノードNVLinkアーキテクチャでは2.8xと2.9xを達成する。

関連論文リスト

• Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
  統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。 本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。 2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
  論文  参考訳（メタデータ） (2026-08-29T14:27:55Z)
• Architectural scaling tradeoffs in modular 3D bosonic quantum processors [60.61253784194378]
  結合キャビティモジュールを相互接続した3次元ボソニック量子プロセッサを提案する。 相互接続数,通信距離,リソース集中度,実装複雑性の観点から,最寄り,ハブベース,ハイブリッドアーキテクチャを比較した。
  論文  参考訳（メタデータ） (2026-08-22T02:31:24Z)
• An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation [63.50393485685279]
  音声の理解と生成を統一する vLLM ベースの推論パイプラインを提案する。 共有直観自由誘導(CFG)のスループットを克服する。 連続バッチ内でペア条件と非条件要求を共スケジューリングすることにより、CFGの実装は、非CFGスループットの80%を維持できます。
  論文  参考訳（メタデータ） (2026-07-02T12:55:11Z)
• AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism [54.8494905524997]
  両方の並列処理軸をまたいだ非同期更新を導入し、コロケーション要求を緩和します。 スパース平均化と非同期更新の両方に対して収束保証を提供します。 大規模言語モデルを用いた実験により,本手法が完全同期ベースラインの性能と一致することを示した。
  論文  参考訳（メタデータ） (2026-01-30T01:24:47Z)
• StreamFusion: Scalable Sequence Parallelism for Distributed Inference of Diffusion Transformers on GPUs [8.844450350128362]
  ディフュージョントランスフォーマー(DiT)は、高品質の画像やビデオ生成において、ますます普及している。 StreamFusionは、トポロジー対応の効率的なDiTサービスエンジンである。 私たちの実験では、StreamFusionが最先端のアプローチを平均1.35タイム(最大1.77タイム)で上回ります。
  論文  参考訳（メタデータ） (2026-01-28T05:42:07Z)
• UNIQ: Communication-Efficient Distributed Quantum Computing via Unified Nonlinear Integer Programming [29.635486335639524]
  分散量子コンピューティング(DQC)は、量子ハードウェアの限界を克服するための有望なアプローチとして広く見なされている。 既存のDQCアプローチでは、3つの重要なコンポーネント(キュービット割り当て、絡み合い管理、ネットワークスケジューリング)を独立したステージとして扱い、それぞれを独立して最適化する。 我々は,3つのコンポーネント全てを非線形整数プログラミング(NIP)モデルに統合する新しいDQC最適化フレームワークUNIQを提案する。
  論文  参考訳（メタデータ） (2025-11-29T09:07:36Z)
• Efficient and Adaptable Overlapping for Computation and Communication via Signaling and Reordering [13.185314408519107]
  生成モデルは様々なアプリケーションで顕著な成功を収め、マルチGPUコンピューティングへの需要が高まっている。 本稿では,新しいシグナリング機構を用いたFlashOverlapを提案する。 実験の結果、FlashOverlapはオーバーラップによって最大1.65倍のスピードアップを実現しており、ほとんどの場合、既存の作業よりも優れています。
  論文  参考訳（メタデータ） (2025-04-28T06:37:57Z)
• PowerMove: Optimizing Compilation for Neutral Atom Quantum Computers with Zoned Architecture [15.027253937154006]
  ニュートラル原子系量子コンピュータ(NAQC)の効率的なコンパイラPowerMoveを提案する。 これらの重要な側面間の相互依存を認識し、活用することによって、PowerMoveは新しい最適化の機会を解放する。 本評価は, 最先端手法と比較して, 数桁の忠実度向上を図っている。
  論文  参考訳（メタデータ） (2024-11-19T06:22:57Z)
• Asynchronous SGD on Graphs: a Unified Framework for Asynchronous Decentralized and Federated Optimization [13.119144971868632]
  本稿では,グラフ上での非同期SGD(AGRAF SGD)について紹介する。 従来の分散非同期計算処理よりも遥かに穏やかな仮定の下で収束率を提供する。
  論文  参考訳（メタデータ） (2023-11-01T11:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。