論文の概要: Hydra: Phase-Aware Workload Characterization of LLM Inference across Edge SoC Generations, Backends, and Quantization Levels

• arxiv url: http://arxiv.org/abs/2608.25053v1
• Date: Tue, 25 Aug 2026 18:43:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.414145
• Title: Hydra: Phase-Aware Workload Characterization of LLM Inference across Edge SoC Generations, Backends, and Quantization Levels
• Title（参考訳）: Hydra: エッジSoC生成、バックエンド、量子化レベルにわたるLCM推論のフェーズアウェアなワークロード特性
• Abstract要約: 我々は、エッジLLM推論のための共通スキーマ、フェーズアウェアなワークロード評価フレームワークであるHydraを提案する。 3つの連続エッジシステムオンチップ世代(AGXXavier、AGX Orin、AGX Thor)を評価する。 分析の結果、集約レイテンシだけで重要なデプロイメント効果が隠されていることが分かりました。
• 参考スコア（独自算出の注目度）: 31.426056644683253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Edge LLM deployment is shaped by more than model size and precision: inference backend, hardware platform, memory traffic, and power management all affect latency and efficiency. We present Hydra, a common-schema, phase-aware workload characterization framework for LLM inference on edge SoCs. Hydra instruments HuggingFace Transformers and llama.cpp with a shared per-prompt timing schema and fuses those records with hardware telemetry, enabling a multi-dimensional characterization of performance, system-resource utilization, and efficiency across prefill and decode phases. Using Hydra, we evaluate three consecutive edge System-on-Chip (SoC) generations (AGX Xavier, AGX Orin, and AGX Thor), 13 instruction-tuned LLMs from seven families, five execution formats, and consider input/output-length sensitivity. The resulting artifact contains roughly 107K per-prompt records and is publicly released with Hydra. Our analysis shows that aggregate latency alone hides key deployment effects: backend structure changes where latency is introduced, quantization reduces memory traffic and energy but does not predict power monotonically, and SoC generation changes how utilization and efficiency should be interpreted. By connecting phase-level timing with system-resource utilization and efficiency metrics, Hydra enables reproducible, phase-aware characterization of edge LLM inference. Hydra's source code and the collected per-prompt trace corpus are available open-source at: https://github.com/amirtaherin/hydra
• Abstract（参考訳）: エッジLDMのデプロイメントは、モデルサイズと精度以上のもので構成されている。推論バックエンド、ハードウェアプラットフォーム、メモリトラフィック、電力管理はすべて、レイテンシと効率に影響を与える。 We present Hydra, a common-schema, phase-aware workload characterization framework for LLM inference on edge SoCs。 Hydra は HuggingFace Transformer と llama.cpp を共有のプロンプトごとのタイミングスキーマで実装し、それらのレコードをハードウェアテレメトリで融合させる。 Hydraを用いて,3世代連続のシステム・オン・チップ(AGX Xavier,AGX Orin,AGX Thor),7つのファミリーから13の命令調整LDM,5つの実行形式,入出力長の感度について検討した。 その結果得られたアーティファクトには1プロンプトあたり約107Kのレコードが含まれており、Hydraと共に公開されている。 我々の分析では、集約レイテンシだけでは、レイテンシが導入された場合のバックエンド構造の変化、量子化はメモリのトラフィックとエネルギーを減少させるが、単調に電力を予測せず、SoC生成は、利用と効率をどのように解釈するかを変える。 位相レベルのタイミングとシステムリソースの利用率と効率のメトリクスを結合することにより、HydraはエッジLLM推論の再現可能で位相対応のキャラクタリゼーションを可能にする。 Hydraのソースコードと収集されたプロンプト毎のトレースコーパスは、https://github.com/amirtaherin/hydra.comで公開されている。

関連論文リスト

• LLM Inference in a Flash! [66.43896490006965]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。 我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
  論文  参考訳（メタデータ） (2026-09-14T18:04:30Z)
• DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
  投機的復号化はLarge Language Model (LLM)推論を加速させる。 最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。 我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
  論文  参考訳（メタデータ） (2026-07-06T14:28:06Z)
• How Should Video LLMs Output Time? An Analysis of Efficient Temporal Grounding Paradigms [8.304081609008119]
  本稿では,テキスト数値生成,テンポラルトケン生成,連続テンポラルデコーディングの3つの主要なVTG出力パラダイムを比較した。 その結果, モデルスケールによらず, 出力定式化の選択は基礎的精度と計算コストの両方に大きく影響することがわかった。 これらの知見は, 効率よく展開可能なVTGシステムを設計するための客観的な実証的ガイドラインを提供する。
  論文  参考訳（メタデータ） (2026-04-10T05:10:15Z)
• Beyond Short-Horizon: VQ-Memory for Robust Long-Horizon Manipulation in Non-Markovian Simulation Benchmarks [96.60530830276281]
  RuleSafeは、スケーラブルなLLM支援シミュレーションフレームワーク上に構築された、新しいオペレーティングベンチマークである。 VQ-Memoryはベクトル量子化変分オートエンコーダを用いたコンパクトで構造化された時間表現である。
  論文  参考訳（メタデータ） (2026-03-10T11:13:54Z)
• Parallelization Strategies for Dense LLM Deployment: Navigating Through Application-Specific Tradeoffs and Bottlenecks [6.447439020088275]
  AIのブレークスルーは、大規模言語モデル(LLM)ベースのアプリケーションの爆発を加速させた。 センスモデルは、その強力な能力、スケーラビリティ、微調整の容易さ、さまざまなタスクにおける汎用性のために、引き続き支配的です。 本稿では,ノード内並列化方式に着目した2つの代表的高密度LLMの負荷について検討する。
  論文  参考訳（メタデータ） (2026-03-05T21:33:24Z)
• Hydra: A Modular Architecture for Efficient Long-Context Reasoning [0.0874967598360817]
  状態空間のバックボーンをベースとしたモジュールアーキテクチャであるHydraを紹介します。 我々は、論理的連鎖精度と合成シーケンスのスループット、WikiTextのスループットを29Mパラメータモデルで評価した。 Hydraは、合成データセットとWikiTextデータセットの8Kトークンで、それぞれ$3.01times$と$3.0times$スループットゲインを達成している。
  論文  参考訳（メタデータ） (2025-08-20T22:31:15Z)
• Optimizing LLM Inference: Fluid-Guided Online Scheduling with Memory Constraints [14.341123057506827]
  大規模言語モデル(LLM)は、今日のアプリケーションでは必須であるが、推論手順は重要な計算資源を必要とする。 本稿では,多段階オンラインスケジューリング問題としてLLM推論最適化を定式化する。 我々は,アルゴリズム設計をガイドするトラクタブルなベンチマークを提供するために,流体力学近似を開発した。
  論文  参考訳（メタデータ） (2025-04-15T16:00:21Z)
• Sliding Window Attention Training for Efficient Large Language Models [55.56483740523027]
  SWATを導入し,スライディングウインドウ・アテンション・トレーニング(Sliding Window Attention Training)を用いて,より効率的な長文処理を実現する。 本稿ではまず,変圧器の非効率性を注目シンク現象とみなす。 我々は、ソフトマックスをシグモイド関数に置き換え、効率的な情報圧縮と保持のためにバランスの取れたALiBiとRotary Position Embeddingを利用する。
  論文  参考訳（メタデータ） (2025-02-26T05:31:44Z)
• Towards Stabilized and Efficient Diffusion Transformers through Long-Skip-Connections with Spectral Constraints [51.83081671798784]
  Diffusion Transformers (DiT) は、画像およびビデオ生成のための強力なアーキテクチャとして登場し、優れた品質とスケーラビリティを提供している。 DiTの実用アプリケーションは本質的に動的特徴不安定性に悩まされており、キャッシュされた推論中にエラーを増幅する。 我々は,Long-Skip-Connections (LSCs) で拡張された画像およびビデオ生成型DiTであるSkip-DiTを提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:28:10Z)
• Unlocking Real-Time Fluorescence Lifetime Imaging: Multi-Pixel Parallelism for FPGA-Accelerated Processing [2.369919866595525]
  FPGAベースのハードウェアアクセラレーターを用いてリアルタイムFLIを実現する手法を提案する。 我々は、時間分解カメラと互換性のあるFPGAボード上に、GRUベースのシーケンス・ツー・シーケンス(Seq2Seq)モデルを実装した。 GRUベースのSeq2Seqモデルと、Seq2SeqLiteと呼ばれる圧縮されたバージョンを統合することで、複数のピクセルを並列に処理することができ、シーケンシャル処理と比較して遅延を低減できた。
  論文  参考訳（メタデータ） (2024-10-09T18:24:23Z)
• AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
  Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。 本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
  論文  参考訳（メタデータ） (2024-07-17T18:38:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。