論文の概要: LLMServingSim: A HW/SW Co-Simulation Infrastructure for LLM Inference Serving at Scale
- arxiv url: http://arxiv.org/abs/2408.05499v1
- Date: Sat, 10 Aug 2024 09:26:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 18:41:36.317626
- Title: LLMServingSim: A HW/SW Co-Simulation Infrastructure for LLM Inference Serving at Scale
- Title（参考訳）: LLMServingSim:大規模LLM推論のためのHW/SW共シミュレーション基盤
- Authors: Jaehong Cho, Minsu Kim, Hyunmin Choi, Guseul Heo, Jongse Park,
- Abstract要約: 大規模言語モデル(LLM)サービスシステムにおいて、汎用的なハードウェア・ソフトウェア動作を正確にモデル化できるシミュレーション基盤が欠如している。
本稿では,LLMServingSimと呼ばれる効率的なシミュレーションツールを開発し,LCMサービスシステムにおける今後の研究を支援することを目的とする。
- 参考スコア（独自算出の注目度）: 17.00936774784349
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, there has been an extensive research effort in building efficient large language model (LLM) inference serving systems. These efforts not only include innovations in the algorithm and software domains but also constitute developments of various hardware acceleration techniques. Nevertheless, there is a lack of simulation infrastructure capable of accurately modeling versatile hardware-software behaviors in LLM serving systems without extensively extending the simulation time. This paper aims to develop an effective simulation tool, called LLMServingSim, to support future research in LLM serving systems. In designing LLMServingSim, we focus on two limitations of existing simulators: (1) they lack consideration of the dynamic workload variations of LLM inference serving due to its autoregressive nature, and (2) they incur repetitive simulations without leveraging algorithmic redundancies in LLMs. To address these limitations, LLMServingSim simulates the LLM serving in the granularity of iterations, leveraging the computation redundancies across decoder blocks and reusing the simulation results from previous iterations. Additionally, LLMServingSim provides a flexible framework that allows users to plug in any accelerator compiler-and-simulation stacks for exploring various system designs with heterogeneous processors. Our experiments demonstrate that LLMServingSim produces simulation results closely following the performance behaviors of real GPU-based LLM serving system with less than 14.7% error rate, while offering 91.5x faster simulation speed compared to existing accelerator simulators.
- Abstract（参考訳）: 近年,効率的な大規模言語モデル (LLM) 推論サービスシステムの構築に向けた研究が盛んに行われている。
これらの取り組みには、アルゴリズムやソフトウェア分野の革新だけでなく、様々なハードウェアアクセラレーション技術の開発も含まれる。
それにもかかわらず、LLMサービスシステムにおいて、シミュレーション時間を広範囲に拡張することなく、多目的なハードウェア・ソフトウェア動作を正確にモデル化できるシミュレーション基盤が欠如している。
本稿では,LLMServingSimと呼ばれる効率的なシミュレーションツールを開発し,LCMサービスシステムにおける今後の研究を支援することを目的とする。
LLMServingSimを設計する際には,既存のシミュレータの2つの制限に焦点をあてる。(1)自己回帰的な性質によりLLM推論の動的ワークロード変動を考慮せず,(2)LLMのアルゴリズム的冗長性を活用することなく繰り返しシミュレーションを行う。
これらの制限に対処するため、LLMServingSimは、反復の粒度で機能するLLMをシミュレートし、デコーダブロック間の計算冗長性を活用し、以前のイテレーションのシミュレーション結果を再利用する。
さらにLLMServingSimはフレキシブルなフレームワークを提供しており、ユーザはアクセラレーターコンパイラとシミュレーションスタックをプラグインして、異種プロセッサで様々なシステム設計を探索することができる。
LLMServingSimは14.7%の誤差率で実GPUベースのLLMサービスシステムの性能挙動に追従してシミュレーション結果を生成する一方で,既存のシミュレータと比較して91.5倍高速なシミュレーション速度を提供する。
関連論文リスト
- DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。
活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。
DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
論文 参考訳（メタデータ） (2024-11-04T18:26:08Z) - Social Science Meets LLMs: How Reliable Are Large Language Models in Social Simulations? [40.00556764679785]
大きな言語モデル(LLM)は、ロールプレイングエージェントやコンピュータ社会科学(CSS)の応用を可能にするシミュレーションにますます採用されている。
本稿では,LLMに基づくシミュレーションはどの程度信頼性が高いか?」と答える。
論文 参考訳（メタデータ） (2024-10-30T20:09:37Z) - CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。
そこで本研究では,学習バランスを定量的に評価する尺度を提案する。
さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
論文 参考訳（メタデータ） (2024-07-29T23:18:55Z) - Enabling Large Language Models to Perform Power System Simulations with Previously Unseen Tools: A Case of Daline [1.4255659581428337]
この研究は、パワーシステムと大規模言語モデルの両方から専門知識を統合するモジュラーフレームワークを提案する。
GPT-4oのシミュレーション符号化精度は0%から96.07%に向上し、ChatGPT-4oのウェブインタフェースの33.8%の精度を上回っている。
論文 参考訳（メタデータ） (2024-06-25T02:05:26Z) - Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。
セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。
本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
論文 参考訳（メタデータ） (2024-06-14T19:24:00Z) - ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。
ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。
LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
論文 参考訳（メタデータ） (2024-03-30T10:11:26Z) - Code Simulation Challenges for Large Language Models [6.970495767499435]
この研究は、LLM(Large Language Models)がいかにコーディングやアルゴリズムのタスクをシミュレートできるかを研究する。
我々は、直線プログラムのベンチマーク、クリティカルパスを含むコード、近似命令および冗長命令を導入する。
本稿では,コンパイラのパターンを行/フォローすることで,LLMにコード実行行をシミュレートするように指示する,OFFプロンプト手法であるChain of Simulation(CoSm)を提案する。
論文 参考訳（メタデータ） (2024-01-17T09:23:59Z) - In Situ Framework for Coupling Simulation and Machine Learning with
Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。
シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。
この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文 参考訳（メタデータ） (2023-06-22T14:07:54Z) - SimNet: Computer Architecture Simulation using Machine Learning [3.7019798164954336]
この研究では、機械学習(ML)を使用して離散イベントシミュレーションを加速する共同作業について説明します。
提案した命令遅延予測器に基づいて,GPU加速並列シミュレータを実装した。
そのシミュレーション精度とスループットを、最先端シミュレータに対して検証し、評価する。
論文 参考訳（メタデータ） (2021-05-12T17:31:52Z) - Achieving 100X faster simulations of complex biological phenomena by
coupling ML to HPC ensembles [47.44377051031385]
ML駆動HPCシミュレーションシナリオのプロトタイプのためのツールであるDeepDriveMDを紹介します。
ML駆動のアンサンブルベースのアプリケーションの科学的性能の向上を定量化するために使用します。
論文 参考訳（メタデータ） (2021-04-10T15:52:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。