論文の概要: A Comprehensive Survey of Accelerated Generation Techniques in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.13019v1
• Date: Wed, 15 May 2024 07:36:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 02:48:13.114700
• Title: A Comprehensive Survey of Accelerated Generation Techniques in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける高速化手法に関する包括的調査
• Authors: Mahsa Khoshnoodi, Vinija Jain, Mingye Gao, Malavika Srikanth, Aman Chadha,
• Abstract要約: 本稿では,自己回帰言語モデルにおける高速化手法について調査する。 我々はこれらの手法を,投機的復号化,早期退避機構,非自己回帰手法の4つの重要な領域に分類する。
• 参考スコア（独自算出の注目度）: 2.091322528026356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the crucial importance of accelerating text generation in large language models (LLMs) for efficiently producing content, the sequential nature of this process often leads to high inference latency, posing challenges for real-time applications. Various techniques have been proposed and developed to address these challenges and improve efficiency. This paper presents a comprehensive survey of accelerated generation techniques in autoregressive language models, aiming to understand the state-of-the-art methods and their applications. We categorize these techniques into several key areas: speculative decoding, early exiting mechanisms, and non-autoregressive methods. We discuss each category's underlying principles, advantages, limitations, and recent advancements. Through this survey, we aim to offer insights into the current landscape of techniques in LLMs and provide guidance for future research directions in this critical area of natural language processing.
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるテキスト生成の高速化は、コンテンツを効率よく生成する上で重要であるが、このプロセスのシーケンシャルな性質は、しばしば高い推論遅延をもたらし、リアルタイムアプリケーションに課題を提起する。 これらの課題に対処し、効率を向上させるために様々な技術が提案され、開発されている。 本稿では, 自己回帰言語モデルにおける高速化手法の総合的な調査を行い, 最先端の手法とその応用を理解することを目的とした。 我々はこれらの手法を,投機的復号化,早期退避機構,非自己回帰手法の4つの重要な領域に分類する。 それぞれのカテゴリの基本原則、優位性、制限、最近の進歩について論じる。 本調査を通じて,LLMにおける現在の技術の展望を把握し,自然言語処理のこの重要な領域における今後の研究方向のガイダンスを提供することを目標としている。

関連論文リスト

• Inference Optimizations for Large Language Models: Effects, Challenges, and Practical Considerations [0.0]
  大規模な言語モデルは自然言語処理においてユビキタスである。 本稿では,資源要件の低減と大規模言語モデルの圧縮に関する諸技術について概説する。
  論文  参考訳（メタデータ） (2024-08-06T12:07:32Z)
• Exploring the landscape of large language models: Foundations, techniques, and challenges [8.042562891309414]
  この記事では、コンテキスト内学習の力学と微調整アプローチのスペクトルについて光を当てている。 革新的な強化学習フレームワークを通じて、LLMが人間の好みとより緊密に連携する方法について検討する。 LLMデプロイメントの倫理的側面は議論され、マインドフルで責任あるアプリケーションの必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-04-18T08:01:20Z)
• Simple Techniques for Enhancing Sentence Embeddings in Generative Language Models [3.0566617373924325]
  文の埋め込みは自然言語処理の領域における基本的なタスクであり、検索エンジン、エキスパートシステム、質問・回答プラットフォームで広範囲に応用されている。 LLaMAやMistralのような大規模言語モデルの継続的な進化により、文の埋め込みに関する研究は近年顕著なブレークスルーを達成している。 PLMの生埋め込みの表現力をさらに向上する2つの革新的急進的技術技術を提案する。
  論文  参考訳（メタデータ） (2024-04-05T07:07:15Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)
• A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications [11.568575664316143]
  本稿では,応用分野別に分類した,最近のプロンプト工学の進歩について概説する。 本稿では、プロンプト手法、その応用、関連するモデル、利用したデータセットについて詳述する。 この体系的な分析は、この急速に発展している分野をよりよく理解し、オープンな課題と迅速なエンジニアリングの機会を照明することによって将来の研究を促進する。
  論文  参考訳（メタデータ） (2024-02-05T19:49:13Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)
• Improving Factuality and Reasoning in Language Models through Multiagent Debate [95.10641301155232]
  複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。 以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。 我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
  論文  参考訳（メタデータ） (2023-05-23T17:55:11Z)
• Self-Supervised Representation Learning: Introduction, Advances and Challenges [125.38214493654534]
  自己教師付き表現学習手法は、大きな注釈付きデータセットを必要とせずに強力な機能学習を提供することを目的としている。 本稿では、この活気ある領域について、鍵となる概念、アプローチの4つの主要なファミリーと関連する技術の状態、そして、データの多様性に自己監督手法を適用する方法について紹介する。
  論文  参考訳（メタデータ） (2021-10-18T13:51:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。