論文の概要: A Measurement Study of LLM Inference Trade-offs Across Edge Continuum Hardware

• arxiv url: http://arxiv.org/abs/2609.08307v1
• Date: Tue, 08 Sep 2026 06:28:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.596652
• Title: A Measurement Study of LLM Inference Trade-offs Across Edge Continuum Hardware
• Title（参考訳）: エッジ連続ハードウェアにおけるLPM推論トレードオフの測定的研究
• Abstract要約: 大きな言語モデル(LLM)は、インテリジェントなWebサービスのバックエンドとしてますます使われています。 本稿では,エッジおよび近縁デプロイメントノード間での自己ホスト型LLM推論の制御された測定結果を提案する。
• 参考スコア（独自算出の注目度）: 0.14913052010438635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used as backends for intelligent web services, but serving them across the edge continuum requires balancing quality, latency, model footprint, and energy. This paper presents a controlled measurement study of self-hosted LLM inference across edge and near-edge deployment nodes: an NVIDIA Jetson AGX Orin and a near-edge server with CPU-only and GPU-enabled inference modes. We evaluate multiple open-weight LLMs and quantization variants using a fixed question-answering workload, and compare them against GPT-4o as a cloud-hosted accuracy and latency reference. Our benchmarking pipeline reports accuracy, model footprint, per-token decoding latency, prefill latency, and overall execution energy. The results show that GPU-enabled server execution provides the lowest compute-side latency, while Jetson Orin shows lower measured energy, consistent with its lower platform power under our setup. CPU-only execution is consistently dominated in latency for our workload and shows higher measured energy. We also show that parameter count and downloaded weight-file size alone do not reliably predict observed accuracy or latency. Finally, using Pareto-frontier analysis, we study how deployment decisions may change under possible streamed-token delivery overheads, highlighting that compute-side inference metrics alone can lead to suboptimal placement for latency-sensitive interactive web services.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、インテリジェントなWebサービスのバックエンドとしてますます使われていますが、エッジ連続体でそれらを提供するには、品質、レイテンシ、モデルフットプリント、エネルギのバランスが必要です。 本稿では, NVIDIA Jetson AGX Orin と CPU 専用および GPU 対応の推論モードを備えた近縁サーバによる, エッジおよび近縁デプロイメントノード間の自己ホスト型 LLM 推論の制御された測定方法を提案する。 我々は,複数のオープンウェイトLLMと量子化変種を,固定された質問応答ワークロードを用いて評価し,クラウドホストされた精度と遅延参照としてGPT-4oと比較した。 ベンチマークパイプラインは、正確性、モデルフットプリント、トークン毎のデコードレイテンシ、プリフィルレイテンシ、全体的な実行エネルギを報告しています。 以上の結果から,GPU対応のサーバ実行が低レイテンシを実現するのに対して,Jetson Orinは低消費電力で,セットアップ時のプラットフォームパワーと一致していることがわかった。 CPUのみの実行は、ワークロードのレイテンシで一貫して支配されています。 また,パラメータ数とダウンロード重みファイルサイズだけでは観測精度や遅延を確実に予測できないことを示す。 最後に、Pareto-frontier分析を用いて、ストリーム処理の可能なデリバリオーバーヘッドの下でデプロイメント決定がどのように変化するかを調べ、計算側推論メトリクスだけではレイテンシに敏感な対話型Webサービスに最適な配置をもたらす可能性があることを強調する。

関連論文リスト

• Jetson-PI: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference [23.424767173051404]
  VLA(Vision-Language-Action)モデルは、様々な実施タスクにおいて印象的なパフォーマンスを実現している。 Jetson Orinのような低消費電力オンボードデバイスにVLAモデルをデプロイすることは、高い計算複雑性のため、依然として困難である。 非同期推論は、アクション実行とその後の推論を並列化することで、このレイテンシを部分的に隠蔽することができるが、認識実行ミスアライメントと長時間のリアクションタイムという、2つの重要な問題が発生する。 我々は、Foresight-Aligned Asynchronous Correctionを介して、オンボードデバイス上でのVLAの効率的なデプロイ方法であるJetson-PIを提案する。
  論文  参考訳（メタデータ） (2026-07-14T11:38:36Z)
• DIRECT: When and Where Should You Allocate Test-Time Compute in Embodied Planners? [57.585275546688116]
  VLM(Vision-Language Models)は、エンボディエージェントの高レベルプランナーとしてますます普及している。 テストタイムの計算をいつ、どこで使うかを選択することは、実際の世界にフロンティアパフォーマンスをもたらす中心である、と私たちは主張する。 我々はマルチモーダルシーンコンテキストを用いてプロンプト毎に計算を割り当てるルーティングフレームワークであるDIRECTを紹介した。
  論文  参考訳（メタデータ） (2026-06-10T17:58:49Z)
• Edge-Based QoS-Aware Adaptive Task Placement: A Closed-Loop Control in Multi-Robot Systems [5.480084037947013]
  本稿では、Raspberry Piノードを用いて、カメラとマニピュレータのパイプラインを評価するパイロットエッジ中心型MSSテストベッドを提案する。 その結果、ATP対応コントローラは、測定されたレイテンシと利用しきい値に基づいてタスク配置を切り替えることで、納期違反や末尾遅延を一貫して低減できることがわかった。
  論文  参考訳（メタデータ） (2026-05-30T05:54:44Z)
• Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
  本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。 主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。 実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
  論文  参考訳（メタデータ） (2026-05-25T10:39:28Z)
• Serverless GPU Architecture for Enterprise HR Analytics: A Production-Scale BDaaS Implementation [6.240627892585199]
  単一ノードのサーバレスGPUランタイムをTabNetに統合する,プロダクション指向のBig Data as a Service (BD) ブループリントを提案する。 HR、アダルト、BLSデータセット上でベンチマークを行い、SparkとCPUベースラインに対するアプローチを比較します。 以上の結果から,GPUパイプラインはSparkベースラインに比べて最大4.5倍高いスループット,98倍のレイテンシ,1K推論あたりのコスト90%の削減を実現している。
  論文  参考訳（メタデータ） (2025-10-22T15:37:42Z)
• lm-Meter: Unveiling Runtime Inference Latency for On-Device Language Models [7.524517279167586]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます統合されています。 モバイルおよびエッジデバイス(オンデバイスLDM)でLLMをローカルに実行することは、プライバシー、信頼性、通信コストの削減を約束する。 オンデバイスLSM推論に適した,最初の軽量オンライン遅延プロファイラであるlm-Meterを提案する。
  論文  参考訳（メタデータ） (2025-10-07T17:05:30Z)
• The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
  大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。 本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
  論文  参考訳（メタデータ） (2025-05-14T08:18:55Z)
• MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
  ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。 ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:08:20Z)
• MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
  汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。 MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。 また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
  論文  参考訳（メタデータ） (2022-04-27T14:00:48Z)
• Towards Streaming Perception [70.68520310095155]
  本稿では、リアルタイムオンライン知覚のための単一のメトリクスにレイテンシと精度を協調的に統合するアプローチを提案する。 この指標の背後にある重要な洞察は、瞬間ごとに認識スタック全体の出力を共同で評価することである。 本稿では,都市ビデオストリームにおけるオブジェクト検出とインスタンスセグメンテーションの具体的タスクに注目し,高品質で時間依存的なアノテーションを備えた新しいデータセットを寄贈する。
  論文  参考訳（メタデータ） (2020-05-21T01:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。