論文の概要: Seeing at the Edge: Energy Characterization of Vision-Language Model Inference on Edge Platforms

• arxiv url: http://arxiv.org/abs/2610.20136v1
• Date: Wed, 14 Oct 2026 12:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.161662
• Title: Seeing at the Edge: Energy Characterization of Vision-Language Model Inference on Edge Platforms
• Title（参考訳）: エッジに見る:エッジプラットフォーム上のビジョンランゲージモデル推論のエネルギー特性
• Abstract要約: 視覚言語モデル(VLM)はエッジデバイスに移行している。 Instruct on a Raspberry Pi 5 with a Hailo-10H NPU and on a Jetson Orin Nano Super。
• 参考スコア（独自算出の注目度）: 4.678657922416968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) are moving onto edge devices, but little is known about how much energy they draw on single-board computers with NPU or GPU accelerators, or where that energy goes. We measure total-system energy, latency, and thermal behavior of Qwen2-VL-2B-Instruct and its text-only sibling on a Raspberry Pi 5 with a Hailo-10H NPU and on a Jetson Orin Nano Super, on both CPU and accelerator, and separate the fixed energy of each request from the energy that grows with output length. Because the accelerators use different quantization and serving software, we compare deployment stacks rather than silicon. Three findings stand out. First, NPU offloading makes the Pi a much more efficient VLM platform: it cuts energy per generated token by about two-thirds, leaves the host CPU largely free, and avoids the thermal throttling that the CPU backend reaches in sustained use. Second, an image adds both fixed and per-token energy, but at typical response lengths generating the answer costs far more than processing the image. Third, the Jetson GPU favors short responses through its lower fixed cost per request, whereas the Pi NPU favors longer ones through its lower cost per output token; their energy curves cross near 40 output tokens.
• Abstract（参考訳）: 視覚言語モデル(VLM)はエッジデバイスに移行しつつあるが、NPUやGPUアクセラレーションを備えたシングルボードコンピュータ上でどれだけのエネルギーを引き出すのか、そのエネルギーがどこにあるのかは、ほとんど分かっていない。 我々は,Qwen2-VL-2B-InstructとそのテキストのみをHaylo-10H NPUとJetson Orin Nano SuperでRaspberry Pi 5上で,CPUとアクセルの両方で計測し,各要求の固定エネルギーを出力長で増大するエネルギーから分離する。 アクセラレータは量子化とサービスソフトウェアが異なるため、シリコンではなくデプロイメントスタックを比較します。 3つの発見がある。 まず、NPUオフロードにより、Piはより効率的なVLMプラットフォームになる: 生成されたトークンあたりのエネルギーを約3分の2削減し、ホストCPUをほとんど自由にし、CPUバックエンドが持続的な使用で到達する熱的スロットリングを回避する。 第二に、画像は固定エネルギーとトーケンエネルギーの両方を追加しますが、典型的な応答長では、画像の処理よりもはるかにコストがかかります。 第三に、Jetson GPUは要求当たりの固定コストを低くすることで短いレスポンスを好んでおり、Pi NPUは出力トークン当たりのコストを低くすることで長いレスポンスを好んでいる。

関連論文リスト

• Characterization of Request and Token Energy Costs for LLM Inference Workloads on GPU Platforms [0.27998963147546135]
  大規模言語モデル(LLM)推論サービスの提供はトークンによって価格が設定されるが、推論ウィンドウ上ではエネルギーが消費される。 我々は、この動作を固定された1回のプリフィルで、固定された生成セットアップコストで特徴づける一方、各出力トーケン生成ステップは、限界ステップエネルギを付加する。 我々は, 需要エネルギーとトークンエネルギーの両面を共同で最適化すべきであることを示し, パートーケンエネルギーコストを削減すべきであることを示した。
  論文  参考訳（メタデータ） (2026-08-28T08:07:23Z)
• Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference [4.039767143692285]
  VLM(Vision-Language Models)は、AIの知覚のバックボーンである。 既存の効率の取り組みは、主に視覚トークンの削減に焦点を合わせ、視覚処理を支配的なエネルギーコストとして暗黙的に扱う。 デバイス上のVLM推論の最初の系統的なエネルギープロファイリングによって、この暗黙の仮定を覆す。
  論文  参考訳（メタデータ） (2026-07-10T15:31:06Z)
• Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware [0.0]
  本稿では,9つのオープンソース大規模言語モデル(LLM)を1つのGPU上で実行したハードウェアレベルのエネルギーベンチマークを提案する。 その結果, モデルアーキテクチャや量子化戦略など, 生パラメータ数以外の要因がエネルギー効率を向上させることが示唆された。
  論文  参考訳（メタデータ） (2026-06-12T06:53:44Z)
• Characterizing Vision-Language-Action Models across XPUs: Constraints and Acceleration for On-Robot Deployment [8.758783768535805]
  VLA(Vision-Language-Action)モデルは、一般的なロボット制御に期待できるが、ロボット上での展開は、コストとエネルギー予算の厳しいリアルタイム推論によってボトルネックとなる。 本稿では,モデル・ハードウエアのコキャラクタリゼーションによる低コストVLAデプロイメントの系統的解析を行う。
  論文  参考訳（メタデータ） (2026-04-27T13:12:16Z)
• Characterizing and Understanding Energy Footprint and Efficiency of Small Language Model on Edges [8.45935156679082]
  本研究では,Raspberry Pi 5, Jetson Nano, TinyLlama, Gemma 2の5つの代表SLMの電力効率を評価する。 以上の結果から,GPUアクセラレーションによるJetson Orin Nanoのエネルギー対性能比が最も高いことがわかった。
  論文  参考訳（メタデータ） (2025-11-07T02:58:15Z)
• H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
  Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。 提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-09-08T17:59:59Z)
• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Inference [57.119047493787185]
  本稿では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56times$wall clock time speedupを無視できる精度低下で実現する方法を示す。 実際、本手法では、異なるハードウェア上で、モデルサイズを43.1%削減し、1.25sim1.56Times$wall clock time speedupを無視できる精度で実現している。
  論文  参考訳（メタデータ） (2024-01-08T17:29:16Z)
• H$_2$O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models [110.06476624089679]
  メモリフットプリントを大幅に削減する新しいKVキャッシュの実装手法を提案する。 我々のアプローチは、トークンのごく一部が、注意点の計算において、ほとんどの価値に寄与する、という観察に基づいている。 我々は,最近のトークンとH$のバランスを動的に保持するKVキャッシュ消去ポリシーであるヘビーヒッター(H$O)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T20:11:14Z)
• PhAST: Physics-Aware, Scalable, and Task-specific GNNs for Accelerated Catalyst Design [102.9593507372373]
  触媒材料は産業プロセスに関わる電気化学反応において重要な役割を担っている。 機械学習は、大量のデータから材料特性を効率的にモデル化する可能性を秘めている。 本稿では,ほとんどのアーキテクチャに適用可能なタスク固有のイノベーションを提案し,計算効率と精度の両立を図っている。
  論文  参考訳（メタデータ） (2022-11-22T05:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。