論文の概要: Self-Selected Attention Span for Accelerating Large Language Model Inference

• arxiv url: http://arxiv.org/abs/2404.09336v1
• Date: Sun, 14 Apr 2024 19:36:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 14:28:37.574862
• Title: Self-Selected Attention Span for Accelerating Large Language Model Inference
• Title（参考訳）: 大規模言語モデル推論の高速化のための自己選択型注意スパン
• Authors: Tian Jin, Wanzin Yazar, Zifei Xu, Sayeh Sharify, Xin Wang,
• Abstract要約: 大規模言語モデル(LLM)は困難なタスクを解くことができる。 LLMの推論計算は、新しいトークンを生成する際に出席しなければならないトークンの数が増えるため、非常に非効率である。 LLMの問題解決能力を利用して、推論時間の効率を最適化する。
• 参考スコア（独自算出の注目度）: 10.305434265471938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can solve challenging tasks. However, their inference computation on modern GPUs is highly inefficient due to the increasing number of tokens they must attend to as they generate new ones. To address this inefficiency, we capitalize on LLMs' problem-solving capabilities to optimize their own inference-time efficiency. We demonstrate with two specific tasks: (a) evaluating complex arithmetic expressions and (b) summarizing news articles. For both tasks, we create custom datasets to fine-tune an LLM. The goal of fine-tuning is twofold: first, to make the LLM learn to solve the evaluation or summarization task, and second, to train it to identify the minimal attention spans required for each step of the task. As a result, the fine-tuned model is able to convert these self-identified minimal attention spans into sparse attention masks on-the-fly during inference. We develop a custom CUDA kernel to take advantage of the reduced context to attend to. We demonstrate that using this custom CUDA kernel improves the throughput of LLM inference by 28%. Our work presents an end-to-end demonstration showing that training LLMs to self-select their attention spans speeds up autoregressive inference in solving real-world tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は困難なタスクを解くことができる。 しかし、最新のGPU上での推論計算は、新しいトークンを生成する際に従わなければならないトークンの数が増えるため、非常に非効率である。 この非効率性に対処するために、LLMの問題解決能力を活用して、推論時間効率を最適化する。 私たちは2つの特定のタスクを実演します。 (a)複雑な算術表現を評価して (b)ニュース記事の要約 両方のタスクに対して、LLMを微調整するカスタムデータセットを作成します。 まず、LCMが評価タスクや要約タスクを解くことを学ばせるようにし、次に、タスクの各ステップに必要な最小限の注意範囲を特定するように訓練する。 その結果、微調整されたモデルでは、自己識別された最小限の注意範囲を、推論中に飛行中のまばらな注意マスクに変換することができる。 我々は、参加するコンテキストの削減を生かしたカスタムCUDAカーネルを開発する。 このカスタムCUDAカーネルを使用することで,LLM推論のスループットが28%向上することが実証された。 我々の研究は、LLMを自己選択する訓練が、現実のタスクを解く際の自己回帰推論を高速化することを示すエンドツーエンドのデモンストレーションを提示する。

関連論文リスト

• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• LinkGPT: Teaching Large Language Models To Predict Missing Links [23.57145845001286]
  大規模言語モデル(LLM)は、様々な言語やビジョンタスクにおいて有望な結果を示している。 近年、グラフベースのタスク、特にテキスト分散グラフ(TAG)にLLMを適用することへの関心が高まっている。
  論文  参考訳（メタデータ） (2024-06-07T04:54:36Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• Online Cascade Learning for Efficient Inference over Streams [9.516197133796437]
  大規模言語モデル(LLM)は、データストリームに関する複雑なクエリに応答する自然な役割を持つ。 この課題に対処する最初のアプローチであるオンラインカスケード学習を提案する。 我々は,オンラインでカスケードを学習するタスクを模倣学習問題として定式化する。
  論文  参考訳（メタデータ） (2024-02-07T01:46:50Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
  大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。 本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:06Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。