論文の概要: LeetDecoding: A PyTorch Library for Exponentially Decaying Causal Linear Attention with CUDA Implementations
- arxiv url: http://arxiv.org/abs/2501.02573v1
- Date: Sun, 05 Jan 2025 15:11:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-07 17:08:13.567195
- Title: LeetDecoding: A PyTorch Library for Exponentially Decaying Causal Linear Attention with CUDA Implementations
- Title（参考訳）: LeetDecoding: CUDA実装による因果線形注意を指数的に減少させるPyTorchライブラリ
- Authors: Jiaping Wang, Simiao Zhang, Qiao-Chu He, Yifan Chen,
- Abstract要約: LeetDecodingは、基本的な演算子のための計算ルーチンの大規模なセットを提供する最初のPythonパッケージである。
LeetDecodingを使えば、研究者は因果線形注意を指数的に減衰させる新しい計算手法をベンチマークし評価することができる。
- 参考スコア（独自算出の注目度）: 3.4096302287069458
- License:
- Abstract: The machine learning and data science community has made significant while dispersive progress in accelerating transformer-based large language models (LLMs), and one promising approach is to replace the original causal attention in a generative pre-trained transformer (GPT) with \emph{exponentially decaying causal linear attention}. In this paper, we present LeetDecoding, which is the first Python package that provides a large set of computation routines for this fundamental operator. The launch of LeetDecoding was motivated by the current lack of (1) clear understanding of the complexity regarding this operator, (2) a comprehensive collection of existing computation methods (usually spread in seemingly unrelated fields), and (3) CUDA implementations for fast inference on GPU. LeetDecoding's design is easy to integrate with existing linear-attention LLMs, and allows for researchers to benchmark and evaluate new computation methods for exponentially decaying causal linear attention. The usage of LeetDecoding does not require any knowledge of GPU programming and the underlying complexity analysis, intentionally making LeetDecoding accessible to LLM practitioners. The source code of LeetDecoding is provided at \href{https://github.com/Computational-Machine-Intelligence/LeetDecoding}{this GitHub repository}, and users can simply install LeetDecoding by the command \texttt{pip install leet-decoding}.
- Abstract（参考訳）: 機械学習とデータサイエンスのコミュニティは、トランスフォーマーベースの大規模言語モデル(LLMs)の加速において、大きな進歩を遂げている。また、生成前学習型トランスフォーマー(GPT)における元の因果的注意を、"emph{exponentially decaying causal linear attention}"に置き換えることが期待できるアプローチである。
本稿では,この基本演算子に対して大規模な計算ルーチンを提供する最初のPythonパッケージであるLeetDecodingを紹介する。
LeetDecodingのローンチは、(1)この演算子に関する複雑さの明確な理解、(2)既存の計算手法の包括的なコレクション(通常、無関係のフィールドに広がる)、(3)GPU上の高速推論のためのCUDA実装の欠如によって動機づけられた。
LeetDecoding の設計は既存の線形アテンション LLM と容易に統合でき、研究者は因果線形注意を指数的に減衰させる新しい計算手法をベンチマークし評価することができる。
LeetDecodingの使用はGPUプログラミングと基盤となる複雑性分析の知識を一切必要とせず、故意にLeetDecodingをLLM実践者にアクセスできるようにする。
LeetDecodingのソースコードは \href{https://github.com/Computational-Machine-Intelligence/LeetDecoding}{this GitHub repository} で提供されている。
関連論文リスト
- Ramp Up NTT in Record Time using GPU-Accelerated Algorithms and LLM-based Code Generation [11.120838175165986]
ホモモルフィック暗号化(HE)はプライバシ保護機械学習(PPML)のコアビルディングブロックである
HEの性能向上のために、多くのGPU加速暗号方式が提案されている。
大規模言語モデル(LLM)の強力なコード生成能力を考えると、実用的なGPUフレンドリなアルゴリズムコードを自動的に生成する可能性を探究する。
論文 参考訳（メタデータ） (2025-02-16T12:53:23Z) - Ilargi: a GPU Compatible Factorized ML Model Training Framework [11.291108172692438]
Ilargiは、CPUとGPU環境間の自動因数分解を容易にする、コストのかかるリレーショナル結合を必要としない、新しい因数分解学習フレームワークである。
IlargiはMLベースのコスト推定器を組み込んで、データ特性、アルゴリズムの複雑さ、ハードウェア環境、およびそれらのインタラクションに基づいて、因子化と物質化をインテリジェントに選択する。
論文 参考訳（メタデータ） (2025-02-04T03:59:17Z) - OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。
オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。
トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
論文 参考訳（メタデータ） (2024-11-07T17:47:25Z) - Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
underlinetextbfPositional textbfIntegrity textbfEncoding (PIE)
PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。
その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
論文 参考訳（メタデータ） (2024-07-03T14:34:03Z) - LLM-Vectorizer: LLM-based Verified Loop Vectorizer [12.048697450464935]
大規模言語モデル(LLM)は、個々の配列要素を処理するスカラープログラムからベクトル化されたコードを生成することができる。
LLMは1.1xから9.4xまでのランタイムスピードアップで高性能なベクトルコードを生成することができる。
我々のアプローチでは、TSVCベンチマークデータセットで正しいベクター化の38.2%を検証できる。
論文 参考訳（メタデータ） (2024-06-07T07:04:26Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳（メタデータ） (2024-02-02T13:14:31Z) - SparseCoder: Identifier-Aware Sparse Transformer for File-Level Code
Summarization [51.67317895094664]
本稿では,大規模なソースコードプロジェクトの理解と維持を支援するファイルレベルのコード要約について検討する。
長いコードシーケンスを効果的に処理するための識別子対応スパース変換器であるSparseCoderを提案する。
論文 参考訳（メタデータ） (2024-01-26T09:23:27Z) - LILO: Learning Interpretable Libraries by Compressing and Documenting Code [71.55208585024198]
LILOは、反復的に合成、圧縮、文書化を行う、ニューロシンボリックなフレームワークである。
LILOは、LLM誘導プログラム合成と、Stitchから自動化された最近のアルゴリズムの進歩を組み合わせたものである。
LILOのシンセサイザーが学習した抽象化を解釈し、デプロイするのを手助けすることで、AutoDocがパフォーマンスを向上させることが分かりました。
論文 参考訳（メタデータ） (2023-10-30T17:55:02Z) - Fixing Large Language Models' Specification Misunderstanding for Better Code Generation [13.494822086550604]
muFiXは、大きな言語モデル(LLM)のコード生成性能を改善する新しいプロンプト技術である。
まず、テストケース分析を利用して仕様の理解を得、自己改善プロセスを可能にする。
muFiXはさらに、提供された理解と実際の理解の間のギャップを減らす方向に向けた仕様理解を修正している。
論文 参考訳（メタデータ） (2023-09-28T02:58:07Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳（メタデータ） (2020-05-01T23:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。