論文の概要: LLM Inference Serving: Survey of Recent Advances and Opportunities
- arxiv url: http://arxiv.org/abs/2407.12391v1
- Date: Wed, 17 Jul 2024 08:11:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 17:57:42.054593
- Title: LLM Inference Serving: Survey of Recent Advances and Opportunities
- Title（参考訳）: LLM推論:最近の進歩と機会
- Authors: Baolin Li, Yankai Jiang, Vijay Gadepally, Devesh Tiwari,
- Abstract要約: 本稿では,Large Language Model (LLM) サービスシステムの最近の進歩について概観する。
コアLLM復号機構を変更することなく性能と効率を向上させるシステムレベルの拡張について検討する。
この調査は、この急速に発展する分野における最新の発展を振り返りたいLLM実践者にとって、貴重なリソースとなる。
- 参考スコア（独自算出の注目度）: 8.567865555551911
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This survey offers a comprehensive overview of recent advancements in Large Language Model (LLM) serving systems, focusing on research since the year 2023. We specifically examine system-level enhancements that improve performance and efficiency without altering the core LLM decoding mechanisms. By selecting and reviewing high-quality papers from prestigious ML and system venues, we highlight key innovations and practical considerations for deploying and scaling LLMs in real-world production environments. This survey serves as a valuable resource for LLM practitioners seeking to stay abreast of the latest developments in this rapidly evolving field.
- Abstract（参考訳）: 本調査では,2023年以降の研究を中心に,大規模言語モデル(LLM)サービスシステムの最近の進歩を概観する。
コアLLM復号機構を変更することなく性能と効率を向上させるシステムレベルの拡張について検討する。
我々は,高名なMLおよびシステム会場から高品質な論文を選択し,レビューすることによって,実運用環境におけるLCMの展開とスケーリングに関する重要なイノベーションと実践的考察を強調した。
この調査は、この急速に発展する分野における最新の発展を防ぎたいLLM実践者にとって、貴重なリソースとなる。
関連論文リスト
- Generative Large Recommendation Models: Emerging Trends in LLMs for Recommendation [85.52251362906418]
このチュートリアルでは、大規模言語モデル(LLM)を統合するための2つの主要なアプローチを探求する。
これは、最近の進歩、課題、潜在的研究の方向性を含む、生成的な大規模なレコメンデーションモデルの包括的な概要を提供する。
主なトピックは、データ品質、スケーリング法則、ユーザの行動マイニング、トレーニングと推論の効率性である。
論文 参考訳（メタデータ） (2025-02-19T14:48:25Z) - From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。
本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
論文 参考訳（メタデータ） (2025-02-17T12:58:17Z) - Large Language Model Enhanced Recommender Systems: Taxonomy, Trend, Application and Future [31.31030891846837]
本稿では,Large Language Model (LLM) を利用したレコメンダシステム(RS)の強化を目的とした最新の研究成果について報告する。
我々は、LLMをオンラインシステムに組み込む動き、特に推論時にの使用を避けることで、この分野における重要な変化を識別する。
論文 参考訳（メタデータ） (2024-12-18T02:07:21Z) - A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。
我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。
これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
論文 参考訳（メタデータ） (2024-05-02T22:43:02Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - Faster and Lighter LLMs: A Survey on Current Challenges and Way Forward [29.81212051279456]
モデル圧縮およびシステムレベルの最適化手法の最近の進歩は、LLM推論を強化することを目的としている。
この調査はこれらの手法の概要を提供し、最近の発展を強調している。
論文 参考訳（メタデータ） (2024-02-02T06:29:34Z) - Large Language Models Meet Computer Vision: A Brief Survey [0.0]
大規模言語モデル(LLM)とコンピュータビジョン(CV)は研究の重要な領域として現れ、人工知能(AI)分野において大きな進歩を遂げている。
この調査論文は、視覚変換器(ViT)とLLMに革命をもたらす可能性を強調しながら、トランスフォーマーの領域における最新の進歩を論じている。
調査は、この分野のオープンな方向性を強調し、将来の研究開発の場を示唆することで締めくくられる。
論文 参考訳（メタデータ） (2023-11-28T10:39:19Z) - A Comprehensive Overview of Large Language Models [68.22178313875618]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳（メタデータ） (2023-07-12T20:01:52Z) - A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳（メタデータ） (2023-05-31T13:51:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。