論文の概要: QiMeng-Attention: SOTA Attention Operator is generated by SOTA Attention Algorithm

• arxiv url: http://arxiv.org/abs/2506.12355v1
• Date: Sat, 14 Jun 2025 05:38:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:45.906818
• Title: QiMeng-Attention: SOTA Attention Operator is generated by SOTA Attention Algorithm
• Title（参考訳）: QiMeng-Attention: SOTA Attention Operator は SOTA Attention Algorithm によって生成される
• Authors: Qirui Zhou, Shaohui Peng, Weiqiang Xiong, Haixin Chen, Yuanbo Wen, Haochen Li, Ling Li, Qi Guo, Yongwei Zhao, Ke Gao, Ruizhi Chen, Yanjun Wu, Chen Zhao, Yunji Chen,
• Abstract要約: 我々は,LLMがGPU上での高レベル最適化ロジックの生成と低レベル実装を分離するためのLLMフレンドリーな思考言語(LLM-TL)を提案する。 2段階の推論ワークフロー、TL-Codeの生成と変換に加えて、LLMはさまざまなGPU上でFlashAttention実装を自動的に生成できる。
• 参考スコア（独自算出の注目度）: 24.09018606185114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The attention operator remains a critical performance bottleneck in large language models (LLMs), particularly for long-context scenarios. While FlashAttention is the most widely used and effective GPU-aware acceleration algorithm, it must require time-consuming and hardware-specific manual implementation, limiting adaptability across GPU architectures. Existing LLMs have shown a lot of promise in code generation tasks, but struggle to generate high-performance attention code. The key challenge is it cannot comprehend the complex data flow and computation process of the attention operator and utilize low-level primitive to exploit GPU performance. To address the above challenge, we propose an LLM-friendly Thinking Language (LLM-TL) to help LLMs decouple the generation of high-level optimization logic and low-level implementation on GPU, and enhance LLMs' understanding of attention operator. Along with a 2-stage reasoning workflow, TL-Code generation and translation, the LLMs can automatically generate FlashAttention implementation on diverse GPUs, establishing a self-optimizing paradigm for generating high-performance attention operators in attention-centric algorithms. Verified on A100, RTX8000, and T4 GPUs, the performance of our methods significantly outshines that of vanilla LLMs, achieving a speed-up of up to 35.16x. Besides, our method not only surpasses human-optimized libraries (cuDNN and official library) in most scenarios but also extends support to unsupported hardware and data types, reducing development time from months to minutes compared with human experts.
• Abstract（参考訳）: 注意演算子は、特に長期コンテキストのシナリオにおいて、大きな言語モデル(LLM)において重要なパフォーマンスボトルネックであり続けている。 FlashAttentionは、最も広く使われ、有効なGPU対応のアクセラレーションアルゴリズムであるが、GPUアーキテクチャ間の適応性を制限するために、時間とハードウェア固有の手動実装が必要である。 既存のLLMはコード生成タスクに多くの可能性を示していますが、高性能なアテンションコードを生成するのに苦労しています。 重要な課題は、アテンション演算子の複雑なデータフローと計算プロセスを理解できず、低レベルのプリミティブを使用してGPUのパフォーマンスを活用できないことである。 上記の課題に対処するために,LLMがGPU上での高レベル最適化ロジックと低レベル実装の生成を分離し,LLMの注意演算子に対する理解を高めるためのLLMフレンドリな思考言語(LLM-TL)を提案する。 LLMは2段階の推論ワークフロー、TLコード生成、翻訳とともに、さまざまなGPU上でFlashAttention実装を自動的に生成し、注目中心のアルゴリズムで高性能な注意演算子を生成するための自己最適化パラダイムを確立する。 A100,RTX8000,T4 GPUで検証され,本手法の性能はバニラLLMよりも著しく優れ,最大35.16倍の高速化を実現している。 また,本手法は,多くのシナリオにおいてヒト最適化ライブラリ(cuDNNや公式ライブラリ)を超えるだけでなく,サポート対象のハードウェアやデータタイプのサポートも拡張し,開発時間を人的専門家と比較して数ヶ月から数分に短縮する。

関連論文リスト

• CUDA-LLM: LLMs Can Write Efficient CUDA Kernels [9.287036563375617]
  大規模言語モデル(LLM)は汎用コード生成において強力な機能を示している。 我々は,textbfFeature SearchReinforcement (FSR) FSRという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-10T10:51:03Z)
• NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding [54.88765757043535]
  この研究は、統計的なn-gram言語モデルのデータ構造を再考し、GPU最適化推論の高速かつ並列な操作を可能にする。 我々のアプローチは NGPU-LM と呼ばれ、7% 未満の計算オーバーヘッドを持つ全ての主要な ASR モデルに対して、カスタマイズ可能なgreedy decoding を導入している。 提案手法は,ビーム探索による顕著な遅延を回避しつつ,greedy と beam search の精度ギャップの50%以上を排除できる。
  論文  参考訳（メタデータ） (2025-05-28T20:43:10Z)
• Ramp Up NTT in Record Time using GPU-Accelerated Algorithms and LLM-based Code Generation [11.120838175165986]
  ホモモルフィック暗号化(HE)はプライバシ保護機械学習(PPML)のコアビルディングブロックである HEの性能向上のために、多くのGPU加速暗号方式が提案されている。 大規模言語モデル(LLM)の強力なコード生成能力を考えると、実用的なGPUフレンドリなアルゴリズムコードを自動的に生成する可能性を探究する。
  論文  参考訳（メタデータ） (2025-02-16T12:53:23Z)
• HADES: Hardware Accelerated Decoding for Efficient Speculation in Large Language Models [1.2180334969164464]
  大規模言語モデル(LLM)は、人間に似たテキストを理解し、生成することで自然言語処理に革命をもたらした。 本稿では,LLMの性能とエネルギー効率を向上させる新しい手法であるハードウェア高速化復号法(HADES)を提案する。
  論文  参考訳（メタデータ） (2024-12-27T21:19:01Z)
• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [19.167604927651073]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。