論文の概要: Keyword Matters: Unveiling the Energy Sensitivity of On-Device LLM Prompting
- arxiv url: http://arxiv.org/abs/2607.22568v1
- Date: Sun, 31 May 2026 18:29:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.969244
- Title: Keyword Matters: Unveiling the Energy Sensitivity of On-Device LLM Prompting
- Title(参考訳): キーワード:オンデバイスLDMプロンプトのエネルギー感受性の解明
- Abstract要約: 大きな言語モデル(LLM)は、プライバシを改善し、ネットワークレイテンシを低減するために、モバイルや組み込みデバイスにますますデプロイされている。
しかし、オンデバイス推論は、バッテリー駆動でリソース制限のあるハードウェア上での高エネルギー消費という、基本的な制約に直面している。
本稿では, デバイス上でのLCMにおける, 即発語とエネルギー消費の関係について実験的検討を行った。
- 参考スコア(独自算出の注目度): 2.1921490318031656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are increasingly deployed on mobile and embedded devices to improve privacy and reduce network latency. Yet on-device inference faces a fundamental constraint: high energy consumption on battery-powered, resource-limited hardware. While model compression and runtime acceleration have been widely studied, the effect of \emph{prompt design} on energy efficiency remains underexplored. This paper presents an empirical study of the relationship between prompt wording and energy consumption for on-device LLMs. Using real power measurements collected on a smartphone, we quantify how linguistic features, particularly imperative keywords and instruction structure, affect decoding length and total energy. Our results show consistent energy differences across verbs and tasks, indicating that prompt engineering is a lightweight lever for improving energy efficiency.
- Abstract(参考訳): 大きな言語モデル(LLM)は、プライバシを改善し、ネットワークレイテンシを低減するために、モバイルや組み込みデバイスにますますデプロイされている。
しかし、オンデバイス推論は、バッテリー駆動でリソース制限のあるハードウェア上での高エネルギー消費という、基本的な制約に直面している。
モデル圧縮と実行時の加速は広く研究されているが、エネルギー効率に対する 'emph{prompt design} の効果は未解明のままである。
本稿では, デバイス上でのLCMにおける, 即発語とエネルギー消費の関係について実験的検討を行った。
スマートフォン上で収集した実力測定を用いて,言語的特徴,特に命令的キーワードや命令構造が,デコード長と総エネルギーに与える影響を定量化する。
実験の結果,動詞とタスク間のエネルギー差が一貫したことから,迅速な工学はエネルギー効率向上のための軽量レバーであることが示唆された。
関連論文リスト
- How Do Prompt Variations Affect Energy Consumption in On-Device LLMs? [15.386321055792209]
大きな言語モデル(LLM)はモバイルデバイスにますますデプロイされ、エネルギー効率が重要なデプロイメント制約となる。
本研究の目的は,認知的負荷と表現パターンという2つの迅速な特性が,デバイス上でのLCM推論のエネルギー的挙動をいかに形作るかを理解することである。
論文 参考訳(メタデータ) (2026-09-01T19:08:04Z) - Understanding the Energy Scaling of Large Language Model Inference Across Context Lengths and Attention Architectures [0.2519906683279152]
各種推論負荷下でのデコード相エネルギー消費に注意構造がどのような影響を及ぼすかを検討する。
注意が、文脈長でエネルギーをデコードする方法を規定する主要な要因であることを示す。
モデルサイズは絶対エネルギー消費を決定し、生成トークン当たりのエネルギーとレイテンシの両方を最大87%削減する。
論文 参考訳(メタデータ) (2026-08-25T19:45:30Z) - Understanding Efficiency: Quantization, Batching, and Serving Strategies in LLM Energy Use [4.513690948889834]
大規模言語モデル(LLM)はますます本番環境に配備され、計算資源やエネルギー需要の負担をトレーニングから推論へとシフトさせるのに寄与している。
我々は,同じモデルにおけるエネルギー消費のオーダー・オブ・マグニチュードの違いを,Emphsystemレベルの設計選択がいかに引き起こすかを示す。
我々の発見は、よりグリーンなAIサービスのための位相認識エネルギープロファイリングとシステムレベルの最適化を動機付けている。
論文 参考訳(メタデータ) (2026-01-29T22:16:25Z) - Green Prompting [2.377736044164336]
大規模言語モデル (LLM) は、検索エンジン、コード生成、テキスト生成にまたがる様々な領域で広く使われている。
本研究は, LLM推定エネルギーコストに直接影響する刺激特性と応答特性の相違について実験的に検討した。
論文 参考訳(メタデータ) (2025-03-09T19:49:31Z) - Transformers for Green Semantic Communication: Less Energy, More
Semantics [0.3226483876828104]
Energy-d Semantic Loss" 関数は意味情報損失とエネルギー消費のバランスをとるという課題に対処する。
最大90%のエネルギーを節約でき、推論中に意味的類似性のパフォーマンスを44%向上させることができる。
この研究は、エネルギー効率のよいニューラルネットワークの選択と、よりグリーンなセマンティック通信アーキテクチャの開発の道を開く。
論文 参考訳(メタデータ) (2023-10-11T15:35:20Z) - In-context Autoencoder for Context Compression in a Large Language Model [70.7621953091318]
In-context Autoencoder (ICAE) を提案し、長いコンテキストを短いメモリスロットに圧縮する。
ICAEは、大量のテキストデータに基づく自動符号化と言語モデリングの両方の目的を用いて、まず事前訓練を行う。
論文 参考訳(メタデータ) (2023-07-13T17:59:21Z) - Energy Transformer [64.22957136952725]
我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。
本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-02-14T18:51:22Z) - Learning, Computing, and Trustworthiness in Intelligent IoT
Environments: Performance-Energy Tradeoffs [62.91362897985057]
Intelligent IoT Environment(iIoTe)は、半自律IoTアプリケーションを協調実行可能な異種デバイスで構成されている。
本稿では,これらの技術の現状を概観し,その機能と性能,特にリソース,レイテンシ,プライバシ,エネルギー消費のトレードオフに注目した。
論文 参考訳(メタデータ) (2021-10-04T19:41:42Z) - To Talk or to Work: Flexible Communication Compression for Energy
Efficient Federated Learning over Heterogeneous Mobile Edge Devices [78.38046945665538]
巨大なモバイルエッジデバイス上でのフェデレーション学習(FL)は、多数のインテリジェントなモバイルアプリケーションのための新たな地平を開く。
FLは、定期的なグローバル同期と継続的なローカルトレーニングにより、参加するデバイスに膨大な通信と計算負荷を課す。
フレキシブルな通信圧縮を可能にする収束保証FLアルゴリズムを開発。
論文 参考訳(メタデータ) (2020-12-22T02:54:18Z) - Energy Drain of the Object Detection Processing Pipeline for Mobile
Devices: Analysis and Implications [77.00418462388525]
本稿では、移動体拡張現実(AR)クライアントのエネルギー消費と、畳み込みニューラルネットワーク(CNN)に基づく物体検出を行う際の検出遅延について、初めて詳細な実験を行った。
我々は,移動体ARクライアントのエネルギー分析を精査し,CNNによる物体検出を行う際のエネルギー消費に関するいくつかの興味深い視点を明らかにした。
論文 参考訳(メタデータ) (2020-11-26T00:32:07Z) - TinySpeech: Attention Condensers for Deep Speech Recognition Neural
Networks on Edge Devices [71.68436132514542]
エッジ上でのオンデバイス音声認識のための低フットプリント,高効率深層ニューラルネットワーク構築のためのアテンションコンデンサの概念を紹介する。
その有効性を説明するために,デバイス上での音声認識に適した低精度深層ニューラルネットワークTinySpeechを導入する。
論文 参考訳(メタデータ) (2020-08-10T16:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。