Fugu-MT 論文翻訳(概要): LLM Inference Serving: Survey of Recent Advances and Opportunities

論文の概要: LLM Inference Serving: Survey of Recent Advances and Opportunities

arxiv url: http://arxiv.org/abs/2407.12391v1
Date: Wed, 17 Jul 2024 08:11:47 GMT
ステータス: 処理完了
システム内更新日: 2024-07-18 17:57:42.054593
Title: LLM Inference Serving: Survey of Recent Advances and Opportunities
Title（参考訳）: LLM推論:最近の進歩と機会
Authors: Baolin Li, Yankai Jiang, Vijay Gadepally, Devesh Tiwari,
Abstract要約: 本稿では,Large Language Model (LLM) サービスシステムの最近の進歩について概観する。コアLLM復号機構を変更することなく性能と効率を向上させるシステムレベルの拡張について検討する。この調査は、この急速に発展する分野における最新の発展を振り返りたいLLM実践者にとって、貴重なリソースとなる。
参考スコア（独自算出の注目度）: 8.567865555551911
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This survey offers a comprehensive overview of recent advancements in Large Language Model (LLM) serving systems, focusing on research since the year 2023. We specifically examine system-level enhancements that improve performance and efficiency without altering the core LLM decoding mechanisms. By selecting and reviewing high-quality papers from prestigious ML and system venues, we highlight key innovations and practical considerations for deploying and scaling LLMs in real-world production environments. This survey serves as a valuable resource for LLM practitioners seeking to stay abreast of the latest developments in this rapidly evolving field.
Abstract（参考訳）: 本調査では,2023年以降の研究を中心に,大規模言語モデル(LLM)サービスシステムの最近の進歩を概観する。コアLLM復号機構を変更することなく性能と効率を向上させるシステムレベルの拡張について検討する。我々は,高名なMLおよびシステム会場から高品質な論文を選択し,レビューすることによって,実運用環境におけるLCMの展開とスケーリングに関する重要なイノベーションと実践的考察を強調した。この調査は、この急速に発展する分野における最新の発展を防ぎたいLLM実践者にとって、貴重なリソースとなる。

関連論文リスト

A Systematic Survey on Large Language Models for Algorithm Design [25.556342145274613]
アルゴリズム設計(AD)は、様々な領域にわたる効果的な問題解決に不可欠である。 LLM(Large Language Models)の出現は、この分野における自動化とイノベーションを著しく強化した。
論文参考訳（メタデータ） (2024-10-11T13:17:19Z)
A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
論文参考訳（メタデータ） (2024-05-02T22:43:02Z)
LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文参考訳（メタデータ） (2024-02-26T07:33:05Z)
Faster and Lighter LLMs: A Survey on Current Challenges and Way Forward [29.81212051279456]
モデル圧縮およびシステムレベルの最適化手法の最近の進歩は、LLM推論を強化することを目的としている。この調査はこれらの手法の概要を提供し、最近の発展を強調している。
論文参考訳（メタデータ） (2024-02-02T06:29:34Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
Large Language Models Meet Computer Vision: A Brief Survey [0.0]
大規模言語モデル(LLM)とコンピュータビジョン(CV)は研究の重要な領域として現れ、人工知能(AI)分野において大きな進歩を遂げている。この調査論文は、視覚変換器(ViT)とLLMに革命をもたらす可能性を強調しながら、トランスフォーマーの領域における最新の進歩を論じている。調査は、この分野のオープンな方向性を強調し、将来の研究開発の場を示唆することで締めくくられる。
論文参考訳（メタデータ） (2023-11-28T10:39:19Z)
Online Advertisements with LLMs: Opportunities and Challenges [51.96140910798771]
本稿では,オンライン広告システムにおけるLarge Language Models(LLM)の活用の可能性について検討する。提案手法は,LLM広告の修正,入札,予測,オークションモジュールから構成される。
論文参考訳（メタデータ） (2023-11-11T02:13:32Z)
A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文参考訳（メタデータ） (2023-07-12T20:01:52Z)
PRISMA-DFLLM: An Extension of PRISMA for Systematic Literature Reviews using Domain-specific Finetuned Large Language Models [0.0]
本稿では,Large Language Models(LLMs)のパワーと,PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)の厳密な報告ガイドラインを組み合わせたAI対応方法論フレームワークを提案する。厳密なSLRプロセスの結果として選択されたドメイン固有の学術論文にLCMを微調整することにより、提案するPRISMA-DFLLMレポートガイドラインは、より効率、再利用性、拡張性を達成する可能性を秘めている。
論文参考訳（メタデータ） (2023-06-15T02:52:50Z)
A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文参考訳（メタデータ） (2023-05-31T13:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。