論文の概要: Liger Kernel: Efficient Triton Kernels for LLM Training

• arxiv url: http://arxiv.org/abs/2410.10989v2
• Date: Fri, 18 Oct 2024 17:21:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:27:23.972313
• Title: Liger Kernel: Efficient Triton Kernels for LLM Training
• Title（参考訳）: Liger Kernel: LLMトレーニングのための効率的なトリトンカーネル
• Authors: Pin-Lun Hsu, Yun Dai, Vignesh Kothapalli, Qingquan Song, Shao Tang, Siyu Zhu, Steven Shimizu, Shivam Sahni, Haowen Ning, Yanning Chen,
• Abstract要約: 大規模言語モデル(LLM)を大規模に効果的に訓練することは、ますます増大する計算要求によって引き起こされる、恐ろしい挑戦となる。 LLMトレーニング用に開発されたTritonカーネルのオープンソースセットであるLiger- Kernelを紹介する。 カーネル操作の融合や入力チャンキングといったカーネル最適化技術により、カーネルはトレーニングのスループットが平均20%向上し、GPUメモリ使用量が60%削減された。
• 参考スコア（独自算出の注目度）: 6.373771349397682
• License:
• Abstract: Training Large Language Models (LLMs) efficiently at scale presents a formidable challenge, driven by their ever-increasing computational demands and the need for enhanced performance. In this work, we introduce Liger-Kernel, an open-sourced set of Triton kernels developed specifically for LLM training. With kernel optimization techniques like kernel operation fusing and input chunking, our kernels achieve on average a 20% increase in training throughput and a 60% reduction in GPU memory usage for popular LLMs compared to HuggingFace implementations. In addition, Liger-Kernel is designed with modularity, accessibility, and adaptability in mind, catering to both casual and expert users. Comprehensive benchmarks and integration tests are built in to ensure compatibility, performance, correctness, and convergence across diverse computing environments and model architectures. The source code is available under a permissive license at: github.com/linkedin/Liger-Kernel.
• Abstract（参考訳）: 大規模言語モデル(LLM)を効果的に大規模に訓練することは、計算要求の増大と性能向上の必要性により、非常に困難な課題を提起する。 本稿では,LLM学習用に開発されたオープンソースTritonカーネルであるLiger-Kernelを紹介する。 カーネル操作の融合や入力チャンキングといったカーネル最適化技術により、カーネルはHuggingFaceの実装と比較してトレーニングのスループットが平均20%向上し、GPUメモリ使用率が60%減少した。 加えて、Liger-Kernelはモジュール性、アクセシビリティ、適応性を念頭に設計されており、カジュアルユーザとエキスパートユーザの両方に対応している。 総合ベンチマークと統合テストは、様々なコンピューティング環境とモデルアーキテクチャの互換性、性能、正確性、収束性を保証するために組み込まれている。 ソースコードは、 github.com/linkedin/Liger-Kernelのパーミッシブライセンスで入手できる。

関連論文リスト

• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,新しいパイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法に比べて,プリフィルスループットが平均21%向上していることが判明した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• TorchTitan: One-stop PyTorch native solution for production ready LLM pre-training [17.157552816494427]
  本稿では,オープンソースのPyTorchネイティブ分散トレーニングシステムであるTorchTitanを紹介する。 最先端のテクニックを統一し、統合を合理化し、オーバーヘッドを減らす。 大型言語モデル (LLM) のLlama 3.1 ファミリー上での TorchTitan の評価を行った。
  論文  参考訳（メタデータ） (2024-10-09T03:26:11Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
  CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。 モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
  論文  参考訳（メタデータ） (2023-12-01T08:02:16Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• RAF: Holistic Compilation for Deep Learning Model Training [17.956035630476173]
  本稿では,学習のための深層学習コンパイラであるRAFについて述べる。 既存のDLCとは異なり、RAFはフォワードモデルを受け入れ、社内でトレーニンググラフを生成する。 RAFは、パフォーマンス、メモリ、分散トレーニングのためのグラフ最適化を体系的に統合することができる。
  論文  参考訳（メタデータ） (2023-03-08T17:51:13Z)
• Slapo: A Schedule Language for Progressive Optimization of Large Deep Learning Model Training [17.556432199389615]
  Slapoは、テンソルレベルの演算子の実行をその算術的定義から切り離すスケジュール言語である。 SlapoはNVIDIA V100 GPUを8台搭載した1台のマシンで最大2.92倍のトレーニングスループットを向上できることを示す。
  論文  参考訳（メタデータ） (2023-02-16T00:34:53Z)
• Towards High Performance, Portability, and Productivity: Lightweight Augmented Neural Networks for Performance Prediction [0.0]
  カーネル変種ハードウェアの任意の組み合わせのための軽量な拡張ニューラルネットワークを提案する。 従来のフィードフォワードニューラルネットワークよりもはるかに優れた、3%の低いMAPEが得られるのです。 私たちの変分選択アプローチは、Halideの実装で、Halideの自動スケジューリングよりも最大1.7倍のスピードアップを得るために使用できます。
  論文  参考訳（メタデータ） (2020-03-17T02:19:54Z)
• PolyScientist: Automatic Loop Transformations Combined with Microkernels for Optimization of Deep Learning Primitives [55.79741270235602]
  深層学習カーネル開発のためのハイブリッドソリューションを開発する。 我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
  論文  参考訳（メタデータ） (2020-02-06T08:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。