Fugu-MT 論文翻訳(概要): HADES: Hardware Accelerated Decoding for Efficient Speculation in Large Language Models

論文の概要: HADES: Hardware Accelerated Decoding for Efficient Speculation in Large Language Models

arxiv url: http://arxiv.org/abs/2412.19925v2
Date: Mon, 13 Jan 2025 04:33:01 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-14 14:28:09.539715
Title: HADES: Hardware Accelerated Decoding for Efficient Speculation in Large Language Models
Title（参考訳）: HADES:大規模言語モデルにおける効率的な推論のためのハードウェアアクセラレーションデコーディング
Authors: Ze Yang, Yihong Jin, Xinhe Xu,
Abstract要約: 大規模言語モデル(LLM)は、人間に似たテキストを理解し、生成することで自然言語処理に革命をもたらした。本稿では,LLMの性能とエネルギー効率を向上させる新しい手法であるハードウェア高速化復号法(HADES)を提案する。
参考スコア（独自算出の注目度）: 1.2180334969164464
License:
Abstract: Large Language Models (LLMs) have revolutionized natural language processing by understanding and generating human-like text. However, the increasing demand for more sophisticated LLMs presents significant computational challenges due to their scale and complexity. This paper introduces Hardware Accelerated Decoding (HADES), a novel approach to enhance the performance and energy efficiency of LLMs. We address the design of an LLM accelerator with hardware-level speculative decoding support, a concept not previously explored in existing literature. Our work demonstrates how speculative decoding can significantly improve the efficiency of LLM operations, paving the way for more advanced and practical applications of these models.
Abstract（参考訳）: 大規模言語モデル(LLM)は、人間に似たテキストを理解し、生成することで自然言語処理に革命をもたらした。しかし、より洗練されたLCMの需要が増大すると、その規模と複雑さにより、計算上の課題が顕著になる。本稿では,LLMの性能とエネルギー効率を向上させる新しい手法であるハードウェア高速化復号法(HADES)を提案する。ハードウェアレベルの投機的復号化サポートを備えたLCMアクセラレータの設計に対処する。我々の研究は、投機的復号化がLLM演算の効率を大幅に改善し、これらのモデルのより先進的で実用的な応用の道を開くことを実証している。

関連論文リスト

EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
論文参考訳（メタデータ） (2024-10-02T23:00:31Z)
Efficient Large Foundation Model Inference: A Perspective From Model and System Co-Design [35.40505841618305]
大規模言語モデル(LLM)が普及し,LLM上でのMLモデルの効率的な設計の必要性が高まっている。本稿では,LLMの効率的な推論技術に焦点をあて,モデルとシステム設計という2つの視点から解説する。
論文参考訳（メタデータ） (2024-09-03T15:35:01Z)
Are LLMs Any Good for High-Level Synthesis? [1.3927943269211591]
大規模言語モデル(LLM)は、高レベル合成(HLS)プロセスの合理化や置き換えが可能である。 LLMは自然言語の仕様を理解し、Cコードや自然言語の仕様を翻訳することができる。本研究の目的は、AIアクセラレーション、組み込みシステム、高性能コンピューティングなどのアプリケーションにおいて、最適化されたハードウェア設計のための将来的な方向性を特定することである。
論文参考訳（メタデータ） (2024-08-19T21:40:28Z)
New Solutions on LLM Acceleration, Optimization, and Application [14.995654657013741]
大規模言語モデル (LLM) は、様々な応用において人間のような文章を解釈・生成する能力を持つ非常に強力な機器となっている。しかし、LLMのサイズと複雑さの増大は、トレーニングとデプロイメントの両方において大きな課題をもたらしている。これらの課題に対処するための最近の進歩と研究の方向性について概観する。
論文参考訳（メタデータ） (2024-06-16T11:56:50Z)
MTLLM: LLMs are Meaning-Typed Code Constructs [7.749453456370407]
本稿では,大規模言語モデル(LLM)をプログラミングに統合するための簡易なアプローチを提案する。提案手法は,従来のプログラミング言語と自然言語を自動的に翻訳するために,既存のプログラムのセマンティック・リッチネスを利用する。そこで本研究では,SOTA LLMソフトウェア開発ツールと比較し,本手法の完全機能および実運用レベルの実装について述べる。
論文参考訳（メタデータ） (2024-05-14T21:12:01Z)
An Embarrassingly Simple Approach for LLM with Strong ASR Capacity [56.30595787061546]
我々は,音声基礎エンコーダと大規模言語モデル(LLM)を用いて,音声処理の分野で最も重要な課題の1つを解決することに注力する。最近の研究は、音声エンコーダの出力を時間的に圧縮したり、プロジェクタのモーダルアライメントに対処したり、LLMのパラメータ効率の良い微調整を利用するといった複雑な設計をしている。そこで本研究では,市販の音声エンコーダLLMと,トレーニング可能な唯一の線形プロジェクタの単純な構成がASRタスクに適しているのに対して,繊細な設計は必要ないことを発見した。
論文参考訳（メタデータ） (2024-02-13T23:25:04Z)
A Survey on Hardware Accelerators for Large Language Models [0.0]
大規模言語モデル(LLM)は自然言語処理タスクの強力なツールとして登場した。スケールと複雑さに関連する計算上の課題に対処する必要がある。
論文参考訳（メタデータ） (2024-01-18T11:05:03Z)
If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練されるコードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文参考訳（メタデータ） (2024-01-01T16:51:20Z)
Speculative Contrastive Decoding [55.378200871224074]
大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
論文参考訳（メタデータ） (2023-11-15T14:15:30Z)
Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文参考訳（メタデータ） (2023-09-13T04:06:47Z)
Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
論文参考訳（メタデータ） (2023-04-17T09:27:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。