Fugu-MT 論文翻訳(概要): Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors

論文の概要: Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors

arxiv url: http://arxiv.org/abs/2608.06723v1
Date: Fri, 07 Aug 2026 02:37:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-10 16:21:25.332143
Title: Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors
Title（参考訳）: ハイブリッド解析-機械学習予測器による大規模言語モデル推論遅延とエネルギーのマルチレベルモデリング
Abstract要約: HYMELLは、大規模言語モデル推論のレイテンシとエネルギを推定する3段階のハイブリッドフレームワークである。 NVIDIA H100グラフィックス処理ユニット(GPU)の評価システムはプリフィルとデコードの両方のフェーズにわたってシステムレベルのオーバーヘッドをキャプチャする。
参考スコア（独自算出の注目度）: 6.949409317418923
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The rapid scaling of Large Language Models (LLMs) has significantly increased computational cost, energy consumption, and inference latency, making accurate estimation essential for sustainable artificial intelligence deployment and hardware-aware design. In this work, we introduce Hybrid Modeling for Energy and Latency of LLMs (HYMELL), a hybrid three-level framework for estimating LLM inference latency and energy by combining analytical modeling with machine learning (ML). HYMELL models LLM execution through a three-level hierarchy: analytical estimation of primitive operations, ML prediction of higher-level components, and an end-to-end model that captures system-level overheads across both prefill and decode phases. The framework supports diverse architectures, including dense and mixture-of-experts (MoE) feed-forward networks (FFNs), as well as multi-head attention (MHA) and grouped-query attention (GQA) mechanisms. Evaluated on an NVIDIA H100 graphics processing unit (GPU), HYMELL achieves high predictive accuracy; notably, for LLaMA 3 8B, it attains less than 5% error for both prefill and decode phases. By predicting execution costs directly from architectural parameters, it enables fast, hardware-free design space exploration and energy-efficient optimization.
Abstract（参考訳）: LLM(Large Language Models)の急速なスケーリングにより、計算コスト、エネルギー消費、推論遅延が大幅に増加し、持続可能な人工知能の展開とハードウェア対応設計に正確な推定が不可欠になった。本研究では,解析モデルと機械学習(ML)を組み合わせることで,LLMの予測遅延とエネルギーを推定する3段階のハイブリッドフレームワークであるHybrid Modeling for Energy and Latency of LLMs(HYMELL)を紹介する。 HYMELLは、プリミティブ操作の分析的推定、高レベルのコンポーネントのML予測、およびプリフィルとデコードの両方のフェーズにわたるシステムレベルのオーバーヘッドをキャプチャするエンドツーエンドモデルである。このフレームワークは、MHA(Multi-head attention)やGQA(Grouped-query attention)機構など、多種多様なアーキテクチャをサポートしている。 NVIDIA H100グラフィックス処理ユニット(GPU)で評価され、HYMELLは高い予測精度を達成する。アーキテクチャパラメータから直接実行コストを予測することにより、高速でハードウェアフリーな設計空間探索とエネルギー効率の最適化が可能になる。

関連論文リスト

LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。 23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
論文参考訳（メタデータ） (2026-08-04T10:53:02Z)
MeltRTL: Multi-Expert LLMs with Inference-time Intervention for RTL Code Generation [0.0]
MeltRTLは、マルチエキスパートの注意と推論時間の介入を統合する新しいフレームワークである。 MeltRTLは、ベースモデルを再トレーニングすることなく、大きな言語モデル(LLM)の精度を大幅に改善する。 We evaluate MeltRTL on the VerilogEval benchmark, achieve 96% synthesizability and 60% functional correctness。
論文参考訳（メタデータ） (2026-01-19T12:49:39Z)
Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models [97.55009021098554]
本研究の目的は、SLMのリアルタイムレイテンシの主要な決定要因を特定し、SLMの設計とトレーニングのための一般化可能な原則と方法論を提供することである。我々はNemotron-Flashと呼ばれるハイブリッドSLMの新たなファミリーを導入し、最先端SLMの精度・効率のフロンティアを大幅に向上させる。
論文参考訳（メタデータ） (2025-11-24T08:46:36Z)
ShishuLM: Lightweight Language Model with Hybrid Decoder-MLP Architecture and Paired Weight Sharing [0.5565728870245015]
本稿では,パラメータカウントとキーバリュー(KV)キャッシュ要求の両方を削減できる,効率的な言語モデルアーキテクチャであるShishuLMを紹介した。以上の結果から,ShshuLMは最大25%のメモリ要求を削減し,トレーニングと推論の両方で最大40%のレイテンシ向上を実現していることがわかった。
論文参考訳（メタデータ） (2025-10-13T04:04:54Z)
The Energy-Efficient Hierarchical Neural Network with Fast FPGA-Based Incremental Learning [0.4317207251910848]
従来の勾配に基づくトレーニング手法は非効率であり、多くの反復的な更新と高消費電力を必要とする。本稿では,階層分解とFPGAに基づく直接方程式解法と漸進学習を組み合わせたハイブリッドフレームワークを提案する。提案手法では,ニューラルネットワークを2つの機能層に分割する。低層はFPGA上の単一ステップ方程式により最適化され,効率よく並列化可能な特徴抽出が可能であり,高層は適応的な漸進的学習を用いて,完全リトレーニングなしで連続的な更新をサポートする。
論文参考訳（メタデータ） (2025-09-18T15:54:15Z)
MAHL: Multi-Agent LLM-Guided Hierarchical Chiplet Design with Adaptive Debugging [30.305211001929496]
大きな言語モデル(LLM)は2.5Dに拡張することを約束している。 LLMはフラットな設計、高い検証コスト、不正確なパラメータ最適化といった課題に直面している。階層型LLMベースのチップレット設計生成フレームワークであるMAHLを提案する。
論文参考訳（メタデータ） (2025-08-08T05:47:31Z)
Scaling Intelligence: Designing Data Centers for Next-Gen Language Models [0.6168147650666682]
GPT-4のような1.8兆のパラメータを持つ大規模言語モデル(LLM)は、データセンターアーキテクチャの根本的な再考を要求する。我々の研究は、FLOPS、帯域幅と容量、複数のネットワークトポロジを共同で探求する包括的な協調設計フレームワークを提供する。我々は、重なり合う計算と通信の利点を定量化し、ハードウェアアクセラレーションされた集合体を活用し、スケールアウト領域を広げ、メモリ容量を増大させる。
論文参考訳（メタデータ） (2025-06-17T22:29:37Z)
FUDOKI: Discrete Flow-based Unified Understanding and Generation via Kinetic-Optimal Velocities [76.46448367752944]
MLLM(Multimodal large language model)は、単一のフレームワーク内で視覚的理解と画像生成を統一する言語である。ほとんどの既存のMLLMはAutore(AR)アーキテクチャに依存しており、将来の開発に固有の制限を課している。本稿では,離散フローマッチングに基づく統一マルチモーダルモデルであるFUDOKIを紹介する。
論文参考訳（メタデータ） (2025-05-26T15:46:53Z)
SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。コードとモデルはリリースされます。
論文参考訳（メタデータ） (2024-12-12T18:59:26Z)
EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
論文参考訳（メタデータ） (2024-10-02T23:00:31Z)
EE-LLM: Large-Scale Training and Inference of Early-Exit Large Language Models with 3D Parallelism [70.07661254213181]
大規模学習のためのフレームワークであるEE-LLMについて述べる。 Megatron-LMをベースとして、EE-LLMは様々なアルゴリズムの革新と早期終了に適したパフォーマンス最適化を実装している。解析的および実証的研究により、EE-LLMは無視可能な計算オーバーヘッドで優れたトレーニング効率を達成することが示された。
論文参考訳（メタデータ） (2023-12-08T09:31:50Z)
A Hybrid Residual Dilated LSTM end Exponential Smoothing Model for Mid-Term Electric Load Forecasting [1.1602089225841632]
このモデルは指数的平滑化(ETS)、高度なLong Short-Term Memory(LSTM)とアンサンブルを組み合わせたものである。欧州35か国における月次電力需要時系列のシミュレーション研究により,提案モデルの高性能性が確認された。
論文参考訳（メタデータ） (2020-03-29T10:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。