論文の概要: Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference

• arxiv url: http://arxiv.org/abs/2607.09520v1
• Date: Fri, 10 Jul 2026 15:31:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.887393
• Title: Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference
• Title（参考訳）: エッジVLM推論で本当のエネルギーを発見
• Authors: Junfei Zhan, Haoxun Shen, Mingang Guo, Zixuan Huang, Tengjiao He,
• Abstract要約: VLM(Vision-Language Models)は、AIの知覚のバックボーンである。 既存の効率の取り組みは、主に視覚トークンの削減に焦点を合わせ、視覚処理を支配的なエネルギーコストとして暗黙的に扱う。 デバイス上のVLM推論の最初の系統的なエネルギープロファイリングによって、この暗黙の仮定を覆す。
• 参考スコア（独自算出の注目度）: 4.039767143692285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) are the perceptual backbone of embodied AI, but their energy footprint on edge hardware remains poorly understood. Existing efficiency efforts focus predominantly on reducing visual tokens, implicitly treating visual processing as the dominant energy cost. We overturn this implicit assumption through the first systematic energy profiling of on-device VLM inference, spanning five models across three architecture families, four input resolutions, and two hardware platforms (NVIDIA RTX 3070 and Jetson Orin NX). Our analysis yields three findings. First, average inference power is a model-intrinsic constant, invariant to input resolution, image complexity, and prompt type, with less than 5% variation across all conditions. This means that all energy variation across inputs must arise from variation in inference time, not from variation in power draw. Second, each output token costs 11 to 39x more wall-clock time than each input token due to the compute-bound and memory-bound asymmetry between prefill and decode, making output token count the dominant driver of both latency and energy. Third, image complexity, measured by the number of objects in an image, induces up to 4.1x energy differences at identical resolution. This variation arises not from increased visual processing cost, but from differences in output length. These findings expose a fundamental limitation of visual token pruning: even removing all visual tokens saves at most 10% of total energy for fixed-token models. Across models spanning 1 billion to 8 billion parameters, controlling output length saves up to 97% of total energy, with the energy dominance of decoding growing stronger at larger model scale. In short, the true energy bottleneck in edge VLM inference is not what the model sees, but how much it says.
• Abstract（参考訳）: VLM(Vision-Language Models)は、組み込みAIの知覚バックボーンであるが、エッジハードウェアにおける彼らのエネルギーフットプリントはあまり理解されていない。 既存の効率の取り組みは、主に視覚トークンの削減に焦点を合わせ、視覚処理を支配的なエネルギーコストとして暗黙的に扱う。 3つのアーキテクチャファミリ、入力解像度、4つのハードウェアプラットフォーム(NVIDIA RTX 3070とJetson Orin NX)にまたがる5つのモデルにまたがる、デバイス上のVLM推論の最初の系統的なエネルギープロファイリングによって、この暗黙の仮定を覆す。 私たちの分析は3つの結果をもたらす。 第一に、平均推論パワーはモデル固有の定数であり、入力解像度、画像の複雑さ、プロンプトタイプに不変であり、全ての条件で5%以下である。 これは、入力間のすべてのエネルギー変動は、パワードローの変動からではなく、推論時間の変動から生じなければならないことを意味する。 第2に、各出力トークンはプリフィルとデコードの間の計算バウンドとメモリバウンドの非対称性のため、各入力トークンよりも11〜39倍のウォールクロック時間である。 第3に、画像中の物体数によって測定される画像の複雑さは、同じ解像度で最大4.1倍のエネルギー差を誘導する。 この変化は、視覚処理コストの増加ではなく、出力長の差によるものである。 これらの発見は、視覚トークンのプルーニングの基本的な制限を明らかにしている: 固定トークンモデルでは、すべての視覚トークンを除去しても、全体の10%のエネルギーを節約できる。 10億から80億のパラメータにまたがるモデル全体において、出力長の制御は総エネルギーの97%を節約し、より大規模なモデルスケールではデコードによるエネルギー優位性が強くなる。 要するに、エッジVLM推論における真のエネルギーボトルネックは、モデルが見ているものではなく、どれだけの量である。

関連論文リスト

• Where Do the Joules Go? Diagnosing Inference Energy Consumption [10.337349215328839]
  我々は、46のモデル、7のタスク、1,858の異なる構成を持つ生成AIランドスケープ全体にわたって、推論時間とエネルギーを大規模に測定する。 LLMタスクタイプは25$times$エネルギー差をもたらし、ビデオ生成は100$times$画像のエネルギーを消費し、GPU利用率の違いは3-5$times$エネルギー差をもたらす。
  論文  参考訳（メタデータ） (2026-01-29T18:16:45Z)
• Energy Scaling Laws for Diffusion Models: Quantifying Compute and Carbon Emissions in Image Generation [50.21021246855702]
  本稿では,計算複雑性(FLOP)に基づく拡散モデルに対するGPUエネルギー消費予測のためのKaplanスケーリング法の適用法を提案する。 提案手法は, テキストエンコーディング, 反復的復号化, 復号化コンポーネントへの拡散モデル推論を分解し, 複数の推論ステップをまたいだ繰り返し実行により, 演算の復号化がエネルギー消費を支配しているという仮説を導いた。 この結果は拡散予測の計算バウンドの性質を検証し、持続可能なAIデプロイメント計画と炭素フットプリント推定の基礎を提供する。
  論文  参考訳（メタデータ） (2025-11-21T08:12:47Z)
• Linear Differential Vision Transformer: Learning Visual Contrasts via Pairwise Differentials [34.77694214755808]
  MHSA(Multi-Head Self-Attention)の代替品であるVCA(Visual-Contrast Attention)を導入する。 VCAは、O(N N C) から O(N n C) への理論複雑性を n N で減少させながら、識別の明示的な概念を注入する。 モジュールはDeiT-Tinyのバックボーンに0.3M以下のパラメータを追加し、追加のFLOPを必要とせず、完全にアーキテクチャに依存しない。
  論文  参考訳（メタデータ） (2025-11-02T07:04:12Z)
• H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
  Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。 提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-09-08T17:59:59Z)
• Fourier-VLM: Compressing Vision Tokens in the Frequency Domain for Large Vision-Language Models [28.76975615001349]
  Vision-Language Models (VLM) は通常、定義された画像プレースホルダートークンをイメージエンコーダの視覚的特徴に置き換え、バックボーンのLarge Language Model (LLM) への入力を形成する。 本稿では,周波数領域における視覚表現を圧縮するシンプルで効率的なFourier-VLMを提案する。 我々のアプローチは、視覚エンコーダから出力される視覚特徴が低周波成分に集中したエネルギーを示すという観察に動機づけられている。
  論文  参考訳（メタデータ） (2025-08-08T05:49:42Z)
• Hourglass Tokenizer for Efficient Transformer-Based 3D Human Pose Estimation [73.31524865643709]
  本稿では,Hourglass Tokenizer (HoT) と呼ばれるプラグアンドプレイのプルーニング・アンド・リカバリフレームワークを提案する。 私たちのHoDTは、冗長なフレームのポーズトークンのプルーニングから始まり、フル長のトークンを復元することで終了します。 提案手法は,従来のVPTモデルと比較して高い効率性と推定精度を両立させることができる。
  論文  参考訳（メタデータ） (2023-11-20T18:59:51Z)
• Shunted Self-Attention via Multi-Scale Token Aggregation [124.16925784748601]
  最近のビジョン変換器(ViT)モデルは、様々なコンピュータビジョンタスクにまたがる励振結果を実証している。 注意層ごとのハイブリッドスケールでの注意をViTsでモデル化するShunted Self-attention(SSA)を提案する。 SSAベースの変換器は84.0%のTop-1精度を実現し、ImageNetの最先端のFocal Transformerより優れている。
  論文  参考訳（メタデータ） (2021-11-30T08:08:47Z)
• DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification [134.9393799043401]
  入力に基づいて冗長なトークンを抽出する動的トークンスペーシフィケーションフレームワークを提案する。 入力トークンの66%を階層的にプルーニングすることで,FLOPの31%37%を大幅に削減し,スループットを40%以上向上する。 DynamicViTモデルは、ImageNetの最先端CNNやビジョントランスフォーマーと比較して、非常に競争力のある複雑性/精度のトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。