論文の概要: Demystifying AI Platform Design for Distributed Inference of Next-Generation LLM models

• arxiv url: http://arxiv.org/abs/2406.01698v2
• Date: Tue, 29 Apr 2025 23:25:27 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-05-02 16:17:22.758185
• Title: Demystifying AI Platform Design for Distributed Inference of Next-Generation LLM models
• Title（参考訳）: 次世代LCMモデルの分散推論のためのAIプラットフォーム設計
• Authors: Abhimanyu Bambhaniya, Ritik Raj, Geonhwa Jeong, Souvik Kundu, Sudarshan Srinivasan, Suvinay Subramanian, Midhilesh Elavazhagan, Madhu Kumar, Tushar Krishna,
• Abstract要約: 大きな言語モデル(LLM)は、広範囲のアプリケーションで顕著なパフォーマンスを示しており、しばしば人間の専門家よりも優れています。 LLMの継続的なイノベーションが最適化に役立ち、モデルアーキテクチャはブレークネックスピードで進化しているため、サービスレベルオブジェクト(SLO)を満たすためのハードウェア要件は、オープンな研究課題のままである。 我々は、多様なLLMモデルアーキテクチャとAIプラットフォーム設計パラメータの関係を効率的にナビゲートする分析ツールGenZを提案する。
• 参考スコア（独自算出の注目度）: 8.02264001053969
• License:
• Abstract: Large language models (LLMs) have shown remarkable performance across a wide range of applications, often outperforming human experts. However, deploying these gigantic models efficiently for diverse inference use cases requires carefully designed hardware platforms with ample computing, memory, and network resources. With constant innovation in LLM serving optimizations and model architecture evolving at breakneck speed, the hardware requirements to meet Service Level Objectives (SLOs) remain an open research question. To answer the question, we present an analytical tool, GenZ, to efficiently navigate the relationship between diverse LLM model architectures(Dense, GQA, MoE, Mamba), LLM serving optimizations(Chunking, Speculative decoding, quanitization), and AI platform design parameters. Our tool estimates LLM inference performance metrics for the given scenario. We have validated against real hardware platforms running various different LLM models, achieving a max geomean error of 5.82.We use GenZ to identify compute, memory capacity, memory bandwidth, network latency, and network bandwidth requirements across diverse LLM inference use cases. We also study diverse architectural choices in use today (inspired by LLM serving platforms from several vendors) to help inform computer architects designing next-generation AI hardware accelerators and platforms. The trends and insights derived from GenZ can guide AI engineers deploying LLMs as well as computer architects designing next-generation hardware accelerators and platforms. Ultimately, this work sheds light on the platform design considerations for unlocking the full potential of large language models across a spectrum of applications. The source code is available at https://github.com/abhibambhaniya/GenZ-LLM-Analyzer . Users can also be tried it on at https://genz-llm-analyzer.streamlit.app/ without any setup on your web browser.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、広範囲のアプリケーションで顕著なパフォーマンスを示しており、しばしば人間の専門家よりも優れています。 しかし、様々な推論ユースケースのためにこれらの巨大なモデルを効率的にデプロイするには、十分なコンピューティング、メモリ、ネットワークリソースを備えたハードウェアプラットフォームを慎重に設計する必要がある。 LLMの継続的なイノベーションが最適化に役立ち、モデルアーキテクチャはブレークネックスピードで進化しているため、サービスレベルオブジェクト(SLO)を満たすためのハードウェア要件は、オープンな研究課題のままである。 そこで本研究では,多種多様なLLMモデルアーキテクチャ(Dense, GQA, MoE, Mamba)とLLMの最適化(Chunking, Speculative decoding, quanitization)とAIプラットフォーム設計パラメータの関係を効率的にナビゲートする分析ツールGenZを提案する。 我々のツールは、与えられたシナリオのLCM推論パフォーマンスメトリクスを推定します。 我々は、計算量、メモリ容量、メモリ帯域幅、ネットワークレイテンシ、ネットワーク帯域幅の要件をさまざまなLLM推論ユースケースで識別するために、GenZを用いて、様々なLLMモデルを実行する実際のハードウェアプラットフォームに対して検証を行った。 私たちはまた、コンピュータアーキテクトが次世代AIハードウェアアクセラレーターやプラットフォームを設計するのを助けるために、今日使われているさまざまなアーキテクチャ選択(複数のベンダーのLLMサービスプラットフォームに触発された)についても研究しています。 GenZのトレンドと洞察は、LLMをデプロイするAIエンジニアと、次世代ハードウェアアクセラレータやプラットフォームを設計するコンピュータアーキテクトを導くことができる。 結局のところ、この研究は、幅広いアプリケーションにまたがる大きな言語モデルの潜在能力を最大限に活用するためのプラットフォーム設計の考察に光を当てている。 ソースコードはhttps://github.com/abhibambhaniya/GenZ-LLM-Analyzerで入手できる。 ユーザは、Webブラウザのセットアップなしでhttps://genz-llm-analyzer.streamlit.app/で試すこともできる。

関連論文リスト

• Understanding and Optimizing Multi-Stage AI Inference Pipelines [11.254219071373319]
  HERMESは不均一な多段LPM推論実行シミュレータである。 HERMESは、以前のフレームワークとは異なり、複数のモデルを同時に実行する異種クライアントをサポートする。 我々は、推論ステージがエンドツーエンドのレイテンシ、ハイブリッドパイプラインの最適戦略、リモートKVキャッシュ検索のアーキテクチャ的影響について検討する。
  論文  参考訳（メタデータ） (2025-04-14T00:29:49Z)
• PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
  我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。 PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。 評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-15T15:11:17Z)
• Low-Rank Adapters Meet Neural Architecture Search for LLM Compression [1.8434042562191815]
  LLM(Large Language Models)の急速な拡張は、微調整と展開に必要な計算資源に関して重大な課題を提起している。 低ランクアダプタの最近の進歩は、これらのモデルのパラメータ効率のよい微調整(PEFT)において有効であることを示した。 本稿では,低ランク表現をニューラルアーキテクチャサーチ(NAS)技術と相乗化するための革新的なアプローチを包括的に論じる。
  論文  参考訳（メタデータ） (2025-01-23T02:14:08Z)
• SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
  画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。 トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。 コードとモデルはリリースされます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:26Z)
• LLM-Inference-Bench: Inference Benchmarking of Large Language Models on AI Accelerators [1.1028525384019312]
  LLM(Large Language Models)は、複数のドメインにまたがる画期的な進歩を推進し、テキスト生成アプリケーションに一般的に使われている。 LLMのハードウェア推論性能を評価するための総合ベンチマークスイートであるLLM-Inference-Benchを紹介する。 ベンチマークの結果、さまざまなモデル、ハードウェアプラットフォーム、推論フレームワークの長所と短所が明らかになりました。
  論文  参考訳（メタデータ） (2024-10-31T18:34:59Z)
• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Archon: An Architecture Search Framework for Inference-Time Techniques [31.655124464284523]
  Archonは推論時のテクニックのレイヤを選択し、組み合わせ、積み重ねるためのフレームワークである。 我々は,Archonアーキテクチャを,命令フォロー,推論,コーディングベンチマークの範囲で評価する。
  論文  参考訳（メタデータ） (2024-09-23T17:53:42Z)
• Sketch: A Toolkit for Streamlining LLM Operations [51.33202045501429]
  大規模言語モデル(LLM)は大きな成功を収めた。 アウトプットフォーマットの柔軟性は、モデルのアウトプットを制御および活用する上での課題を引き起こします。 スケッチ(Sketch)は、多種多様な分野にわたるLCM操作を合理化するための革新的なツールキットである。
  論文  参考訳（メタデータ） (2024-09-05T08:45:44Z)
• Performance Law of Large Language Models [58.32539851241063]
  性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを導くために用いられる。 性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを広範な実験なしで導くのに利用できる。
  論文  参考訳（メタデータ） (2024-08-19T11:09:12Z)
• SoupLM: Model Integration in Large Language and Multi-Modal Models [51.12227693121004]
  大規模言語モデル(LLM)の訓練には、かなりの計算資源が必要である。 既存の公開LLMは通常、さまざまなタスクにまたがる、多種多様なプライベートにキュレートされたデータセットで事前トレーニングされる。
  論文  参考訳（メタデータ） (2024-07-11T05:38:15Z)
• New Solutions on LLM Acceleration, Optimization, and Application [14.995654657013741]
  大規模言語モデル (LLM) は、様々な応用において人間のような文章を解釈・生成する能力を持つ非常に強力な機器となっている。 しかし、LLMのサイズと複雑さの増大は、トレーニングとデプロイメントの両方において大きな課題をもたらしている。 これらの課題に対処するための最近の進歩と研究の方向性について概観する。
  論文  参考訳（メタデータ） (2024-06-16T11:56:50Z)
• Evaluating the Generalization Ability of Quantized LLMs: Benchmark, Analysis, and Toolbox [46.39670209441478]
  大規模言語モデル(LLM)は、複数のシナリオでエキサイティングな進歩を見せている。 メモリフットプリントと推論コストを削減する効果的な方法として、量子化は低ビット幅での性能劣化にも直面する。 この研究は、評価システム、詳細な分析、一般的なツールボックスを含む、この研究トピックのための包括的なベンチマークスイートを提供する。
  論文  参考訳（メタデータ） (2024-06-15T12:02:14Z)
• Large Language Models as Software Components: A Taxonomy for LLM-Integrated Applications [0.0]
  大規模言語モデル(LLM)が最近広く採用されている。自律エージェントやソフトウェア工学のツールとしての利用について調査している。 一方、LLMの統合されたアプリケーションは、LLMを利用してタスクを実行するソフトウェアシステムである。 本研究は,LLM統合アプリケーションに対する分類学を提供し,これらのシステムの解析と記述のためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-06-13T21:32:56Z)
• Do Large Language Model Understand Multi-Intent Spoken Language ? [5.494472119991781]
  この研究は、多言語言語理解(SLU)におけるLarge Language Models(LLM)の利用において、大きなブレークスルーを示すものである。 本稿では,マルチインテリジェントSLUアプリケーションにおけるエンティティスロットの利用について再検討する。 本稿では,複雑なマルチインテント通信の分析と解釈を増幅するために,サブインテントインストラクション(SII)の概念を導入する。
  論文  参考訳（メタデータ） (2024-03-07T13:30:52Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。