論文の概要: HADES: Hardware Accelerated Decoding for Efficient Speculation in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.19925v2
• Date: Mon, 13 Jan 2025 04:33:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:28:09.539715
• Title: HADES: Hardware Accelerated Decoding for Efficient Speculation in Large Language Models
• Title（参考訳）: HADES:大規模言語モデルにおける効率的な推論のためのハードウェアアクセラレーションデコーディング
• Authors: Ze Yang, Yihong Jin, Xinhe Xu,
• Abstract要約: 大規模言語モデル(LLM)は、人間に似たテキストを理解し、生成することで自然言語処理に革命をもたらした。 本稿では,LLMの性能とエネルギー効率を向上させる新しい手法であるハードウェア高速化復号法(HADES)を提案する。
• 参考スコア（独自算出の注目度）: 1.2180334969164464
• License:
• Abstract: Large Language Models (LLMs) have revolutionized natural language processing by understanding and generating human-like text. However, the increasing demand for more sophisticated LLMs presents significant computational challenges due to their scale and complexity. This paper introduces Hardware Accelerated Decoding (HADES), a novel approach to enhance the performance and energy efficiency of LLMs. We address the design of an LLM accelerator with hardware-level speculative decoding support, a concept not previously explored in existing literature. Our work demonstrates how speculative decoding can significantly improve the efficiency of LLM operations, paving the way for more advanced and practical applications of these models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間に似たテキストを理解し、生成することで自然言語処理に革命をもたらした。 しかし、より洗練されたLCMの需要が増大すると、その規模と複雑さにより、計算上の課題が顕著になる。 本稿では,LLMの性能とエネルギー効率を向上させる新しい手法であるハードウェア高速化復号法(HADES)を提案する。 ハードウェアレベルの投機的復号化サポートを備えたLCMアクセラレータの設計に対処する。 我々の研究は、投機的復号化がLLM演算の効率を大幅に改善し、これらのモデルのより先進的で実用的な応用の道を開くことを実証している。

関連論文リスト

• Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis [49.998130983414924]
  LLM(Large Language Model)は、PythonやC++などのプログラミング言語に使用される。 本稿では,LLMを利用してHLS(High-Level Synthesis)ベースのハードウェア設計を行う。
  論文  参考訳（メタデータ） (2025-02-19T17:53:59Z)
• HiVeGen -- Hierarchical LLM-based Verilog Generation for Scalable Chip Design [55.54477725000291]
  HiVeGenは階層的なVerilog生成フレームワークで、生成タスクを階層的なサブモジュールに分解する。 自動設計空間探索(DSE)を階層対応のプロンプト生成に変換し、コードの再利用を強化するために重みに基づく検索を導入する。 エラー補正コストを低減し、生成した設計の質を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-12-06T19:37:53Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Are LLMs Any Good for High-Level Synthesis? [1.3927943269211591]
  大規模言語モデル(LLM)は、高レベル合成(HLS)プロセスの合理化や置き換えが可能である。 LLMは自然言語の仕様を理解し、Cコードや自然言語の仕様を翻訳することができる。 本研究の目的は、AIアクセラレーション、組み込みシステム、高性能コンピューティングなどのアプリケーションにおいて、最適化されたハードウェア設計のための将来的な方向性を特定することである。
  論文  参考訳（メタデータ） (2024-08-19T21:40:28Z)
• LLM-Aided Compilation for Tensor Accelerators [6.709490736813537]
  我々は,大規模言語モデル(LLM)を用いてハードウェアアクセラレーター用のコンパイラを構築する方法について論じる。 具体的には,GPT-4がGemminiアクセラレータへのコード変換において高いパスレートを達成する能力を示す。 また,LLMを利用してハードウェア最適化コードを生成するための2フェーズワークフローを提案する。
  論文  参考訳（メタデータ） (2024-08-06T19:10:25Z)
• Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
  大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。 最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。 プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:35:00Z)
• New Solutions on LLM Acceleration, Optimization, and Application [14.995654657013741]
  大規模言語モデル (LLM) は、様々な応用において人間のような文章を解釈・生成する能力を持つ非常に強力な機器となっている。 しかし、LLMのサイズと複雑さの増大は、トレーニングとデプロイメントの両方において大きな課題をもたらしている。 これらの課題に対処するための最近の進歩と研究の方向性について概観する。
  論文  参考訳（メタデータ） (2024-06-16T11:56:50Z)
• A Survey on Hardware Accelerators for Large Language Models [0.0]
  大規模言語モデル(LLM)は自然言語処理タスクの強力なツールとして登場した。 スケールと複雑さに関連する計算上の課題に対処する必要がある。
  論文  参考訳（メタデータ） (2024-01-18T11:05:03Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。