論文の概要: HYDRA: A Heterogeneous Chiplet DSE Framework for Serving Dynamic Hybrid LLM Workloads
- arxiv url: http://arxiv.org/abs/2608.19395v1
- Date: Wed, 19 Aug 2026 19:26:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.39016
- Title: HYDRA: A Heterogeneous Chiplet DSE Framework for Serving Dynamic Hybrid LLM Workloads
- Title（参考訳）: HYDRA:動的ハイブリッドLLMワークロードを実現するための不均一なChiplet DSEフレームワーク
- Abstract要約: ハイブリッドトランスフォーマーMamba大言語モデル(LLM)は、長文の効率を向上させる。
チップレットベースのアーキテクチャは、特殊な計算ユニットとメモリユニットを統合することでスケーラブルなソリューションを提供する。
ヘテロジニアスチップレットシステムを利用するハイブリッドLLMのための包括的宇宙探査フレームワークHYDRAを提案する。
- 参考スコア（独自算出の注目度）: 10.34486532307777
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hybrid Transformer-Mamba large language models (LLMs) enhance long-context efficiency, but their heterogeneous computation and communication patterns complicate efficient hardware acceleration. Chiplet-based architectures offer a scalable solution by integrating specialized compute and memory units. However, the design space spanning static architectural configurations and dynamic runtime policies is prohibitively large to explore exhaustively. To address this challenge, we present HYDRA, a comprehensive design space exploration framework for hybrid LLM serving on heterogeneous chiplet systems. HYDRA jointly explores chiplet composition, placement, inter-chiplet bandwidth provisioning, dynamic batching, and runtime scheduling. It integrates communication-aware placement, dynamic batching, elastic task scheduling, and a fast Markov-based performance estimator that captures multi-tenant runtime dynamics for efficient and accurate exploration. Across all workloads, HYDRA delivers 1.55x the throughput and 43.7 percent lower time-to-first-token on average, with throughput gains reaching up to 2.3x compared to state-of-the-art baselines. These results highlight that co-designing architecture and runtime policies is critical for efficient large-scale LLM serving on heterogeneous chiplet systems.
- Abstract（参考訳）: ハイブリッドトランスフォーマー-マンバ大言語モデル (LLM) は、長コンテキスト効率を向上させるが、その不均一な計算と通信パターンは、効率的なハードウェアアクセラレーションを複雑にする。
チップレットベースのアーキテクチャは、特殊な計算ユニットとメモリユニットを統合することでスケーラブルなソリューションを提供する。
しかし、静的なアーキテクチャ構成と動的ランタイムポリシーにまたがる設計空間は、徹底的に探索するには明らかに大きい。
この課題に対処するため,ヘテロジニアスチップレットシステムを用いたハイブリッドLLMのための総合的な設計空間探索フレームワークHYDRAを提案する。
HYDRAはチップレットの構成、配置、チップレット間バンド幅のプロビジョニング、動的バッチ、実行時スケジューリングを共同で検討している。
通信対応の配置、動的バッチ、弾力性のあるタスクスケジューリング、高速なMarkovベースのパフォーマンス推定器を統合し、マルチテナントランタイムのダイナミクスをキャプチャして、効率的で正確な探索を行う。
すべてのワークロードにおいて、HYDRAはスループットを1.55倍、平均で43.7%低下させ、スループットは最先端のベースラインに比べて最大2.3倍まで向上する。
これらの結果から, アーキテクチャと実行時ポリシーの協調設計が, ヘテロジニアスチップレットシステムに効率的な大規模LLMの実現に不可欠であることが示唆された。
関連論文リスト
- Hybrid Workflow Composition for Extreme-Scale Data Processing: A Case Study on the HL-LHC (Extended Version) [0.5156484100374059]
本稿では,タスクセットの粒度とシステムレベルの制約の相互作用を特徴付けるための新しいシミュレーションフレームワークを提案する。
その結果、ハイブリッド合成戦略はスループットを最大3.8倍に向上し、ネットワークオーバーヘッドを14.9倍削減できることがわかった。
論文 参考訳（メタデータ） (2026-07-29T13:07:31Z) - AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。
計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。
AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
論文 参考訳（メタデータ） (2026-03-12T12:46:42Z) - SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。
本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。
ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2026-01-05T21:02:49Z) - Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。
我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。
BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
論文 参考訳（メタデータ） (2025-11-04T01:15:44Z) - xLLM Technical Report [57.13120905321185]
我々は,知的かつ効率的なLarge Language Model (LLM)推論フレームワークであるxLLMを紹介する。
xLLMは、新しい分離されたサービスエンジンアーキテクチャを構築する。
xLLM-Engineは、システムとアルゴリズムの設計を最適化し、コンピュータリソースを完全に飽和させる。
論文 参考訳（メタデータ） (2025-10-16T13:53:47Z) - CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。
CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。
トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
論文 参考訳（メタデータ） (2025-09-24T07:54:01Z) - MAHL: Multi-Agent LLM-Guided Hierarchical Chiplet Design with Adaptive Debugging [30.305211001929496]
大きな言語モデル(LLM)は2.5Dに拡張することを約束している。
LLMはフラットな設計、高い検証コスト、不正確なパラメータ最適化といった課題に直面している。
階層型LLMベースのチップレット設計生成フレームワークであるMAHLを提案する。
論文 参考訳（メタデータ） (2025-08-08T05:47:31Z) - Understanding and Optimizing Multi-Stage AI Inference Pipelines [11.254219071373319]
HERMESは不均一な多段LPM推論実行シミュレータである。
HERMESは、以前のフレームワークとは異なり、複数のモデルを同時に実行する異種クライアントをサポートする。
我々は、推論ステージがエンドツーエンドのレイテンシ、ハイブリッドパイプラインの最適戦略、リモートKVキャッシュ検索のアーキテクチャ的影響について検討する。
論文 参考訳（メタデータ） (2025-04-14T00:29:49Z) - Tackling the Dynamicity in a Production LLM Serving System with SOTA Optimizations via Hybrid Prefill/Decode/Verify Scheduling on Efficient Meta-kernels [12.77187564450236]
本稿では,多機能なAscendネイティブ,エンドツーエンド生産型大規模言語モデル(LLM)サービスシステムであるXY-Serveを紹介する。
中心となる考え方は、計算をきめ細かいメタプリミティブに分解することで、ワークロードの変動を円滑にする抽象化メカニズムである。
GEMMでは,動的形状変化に適応する仮想パディング方式を導入し,高効率な固定タイルサイズGEMMプリミティブを用いた。
論文 参考訳（メタデータ） (2024-12-24T02:27:44Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。