論文の概要: How Do Prompt Variations Affect Energy Consumption in On-Device LLMs?

• arxiv url: http://arxiv.org/abs/2609.01798v1
• Date: Tue, 01 Sep 2026 19:08:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:17.927408
• Title: How Do Prompt Variations Affect Energy Consumption in On-Device LLMs?
• Title（参考訳）: オンデバイスLCMのエネルギー消費に及ぼすプロンプト変動の影響
• Abstract要約: 大きな言語モデル(LLM)はモバイルデバイスにますますデプロイされ、エネルギー効率が重要なデプロイメント制約となる。 本研究の目的は,認知的負荷と表現パターンという2つの迅速な特性が,デバイス上でのLCM推論のエネルギー的挙動をいかに形作るかを理解することである。
• 参考スコア（独自算出の注目度）: 15.386321055792209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed on mobile devices, making energy efficiency a key deployment constraint, yet the energy impact of prompt design remains underexplored. This paper aims to understand how two prompt properties, cognitive load and phrasing pattern, shape the energy behavior of on-device LLM inference. We conduct a broad empirical study covering prompt properties, datasets, models, and devices, with phase-level profiling that separates prefill and decode energy. We find that cognitive load primarily affects the energy cost per token, while phrasing pattern affects energy largely through token usage. Our energy-quality analysis further shows that prompt design reshapes the attainable frontier differently across models, highlighting the need for model-aware prompt design in energy-efficient on-device LLM inference. Code, datasets, and scripts are available at https://amai-gsu.github.io/PromptProperty/.
• Abstract（参考訳）: 大規模言語モデル (LLM) はモバイル機器にますますデプロイされ、エネルギー効率が重要なデプロイメント制約となっているが、迅速な設計によるエネルギーへの影響は未解明のままである。 本研究の目的は,認知的負荷と表現パターンという2つの迅速な特性が,デバイス上でのLCM推論のエネルギー的挙動をいかに形作るかを理解することである。 我々は、プリフィルとデコードエネルギを分離する位相レベルのプロファイリングを用いて、プロンプト特性、データセット、モデル、デバイスについて広範な実証研究を行う。 認知負荷はトークン当たりのエネルギーコストに大きく影響し,表現パターンはトークンの使用によってエネルギーに大きく影響することがわかった。 我々のエネルギー品質分析は、モデル間で達成可能なフロンティアを迅速に再認識し、エネルギー効率の高いオンデバイスLSM推論におけるモデル対応プリンシパル設計の必要性を強調している。 コード、データセット、スクリプトはhttps://amai-gsu.github.io/PromptProperty/で入手できる。

関連論文リスト

• Understanding the Energy Scaling of Large Language Model Inference Across Context Lengths and Attention Architectures [0.2519906683279152]
  各種推論負荷下でのデコード相エネルギー消費に注意構造がどのような影響を及ぼすかを検討する。 注意が、文脈長でエネルギーをデコードする方法を規定する主要な要因であることを示す。 モデルサイズは絶対エネルギー消費を決定し、生成トークン当たりのエネルギーとレイテンシの両方を最大87%削減する。
  論文  参考訳（メタデータ） (2026-08-25T19:45:30Z)
• From Tokens to Watt-hours: Analytical Energy Estimation for LLM Inference on Modern GPUs [6.041312734387813]
  本報告では,NVIDIA H100級加速器の大規模言語モデル (LLM) 推定エネルギーを直接測定せずに推定するための,解析的,実験的に校正されたGPUレベルの手法を提案する。 提案手法は,FP16/BF16テンソルコア計算と高帯域幅メモリ動作のためのパラメータスケール変換器FLOP会計,メモリトラヒック係数,ハードウェア固有のエネルギー係数を組み合わせた。 この手法はさらに、総エネルギーを計算、パラメータアクセス、キー-値-キャッシュ書き込み、および注意-読み取りコンポーネントに分解し、モデルサイズ、コンテキスト長、生成トーケン数によるスケーリング動作を可能にする。
  論文  参考訳（メタデータ） (2026-07-29T07:50:55Z)
• Keyword Matters: Unveiling the Energy Sensitivity of On-Device LLM Prompting [2.1921490318031656]
  大きな言語モデル(LLM)は、プライバシを改善し、ネットワークレイテンシを低減するために、モバイルや組み込みデバイスにますますデプロイされている。 しかし、オンデバイス推論は、バッテリー駆動でリソース制限のあるハードウェア上での高エネルギー消費という、基本的な制約に直面している。 本稿では, デバイス上でのLCMにおける, 即発語とエネルギー消費の関係について実験的検討を行った。
  論文  参考訳（メタデータ） (2026-05-31T18:29:16Z)
• Beyond Test-Time Compute Strategies: Advocating Energy-per-Token in LLM Inference [1.522424334864671]
  大規模言語モデル(LLM)は、様々なタスクにまたがる優れた性能を示すが、かなりのエネルギーと計算コストが伴う。 SLM(Small Language Models)は、単純なテキスト生成タスクに対して正確な応答を提供する。 これらの戦略は追加のエネルギーコストを導入し、エネルギー精度のトレードオフを生み出す。
  論文  参考訳（メタデータ） (2026-03-04T15:20:55Z)
• Towards Green AI: Decoding the Energy of LLM Inference in Software Development [46.879983975894135]
  AI支援ツールはソフトウェア開発にますます統合されているが、大きな言語モデル(LLM)に依存しているため、相当な計算とエネルギーコストが伴う。 モデルが入力を処理して内部表現を構築した(1)プリフィルと,(2)デコードで格納された状態を用いて出力トークンを生成する(2)プリフィルとを区別し,LCM推定エネルギー消費の位相レベル解析を行う。
  論文  参考訳（メタデータ） (2026-02-05T14:38:19Z)
• Understanding Efficiency: Quantization, Batching, and Serving Strategies in LLM Energy Use [4.513690948889834]
  大規模言語モデル(LLM)はますます本番環境に配備され、計算資源やエネルギー需要の負担をトレーニングから推論へとシフトさせるのに寄与している。 我々は,同じモデルにおけるエネルギー消費のオーダー・オブ・マグニチュードの違いを,Emphsystemレベルの設計選択がいかに引き起こすかを示す。 我々の発見は、よりグリーンなAIサービスのための位相認識エネルギープロファイリングとシステムレベルの最適化を動機付けている。
  論文  参考訳（メタデータ） (2026-01-29T22:16:25Z)
• Green Prompting [2.377736044164336]
  大規模言語モデル (LLM) は、検索エンジン、コード生成、テキスト生成にまたがる様々な領域で広く使われている。 本研究は, LLM推定エネルギーコストに直接影響する刺激特性と応答特性の相違について実験的に検討した。
  論文  参考訳（メタデータ） (2025-03-09T19:49:31Z)
• Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding [58.364933651703524]
  注目クエリの特定の領域において、集中した巨大な値が一貫して現れることを示す。 これらの膨大な価値は文脈知識の解釈において重要な役割を担っている。 大量の値の出現を辿り、そのような濃度は回転位置によって引き起こされる。
  論文  参考訳（メタデータ） (2025-02-03T17:47:03Z)
• Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
  本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。 本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。 推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
  論文  参考訳（メタデータ） (2023-12-07T13:53:29Z)
• On Feature Diversity in Energy-based Models [98.78384185493624]
  エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
  論文  参考訳（メタデータ） (2023-06-02T12:30:42Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Pre-Training Transformers as Energy-Based Cloze Models [95.04748595976811]
  テキストによる表現学習のためのエネルギーベースクローゼモデルであるElectricを導入する。 electricはマスキングを使用しず、コンテキスト内で発生したトークンに対して完全な分散を出力しない。 ノイズコントラスト推定に基づくアルゴリズムを用いて電気を訓練し、この学習目標が最近提案されたELECTRAプリトレーニング方法と密接に関連しているかを解明する。
  論文  参考訳（メタデータ） (2020-12-15T19:17:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。