論文の概要: Beyond FLOPs: Energy-Aware Knowledge Distillation for Sustainable LLMs on Code-Related Task

• arxiv url: http://arxiv.org/abs/2608.17515v1
• Date: Tue, 18 Aug 2026 08:41:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.271183
• Title: Beyond FLOPs: Energy-Aware Knowledge Distillation for Sustainable LLMs on Code-Related Task
• Title（参考訳）: FLOPsを超えて:コード関連タスクにおける持続可能LLMのためのエネルギー認識知識蒸留
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア工学(SE)タスクにますます適用され、クローン検出、脆弱性予測、コードの要約といった問題に対して高い精度を達成する。 高い計算要求とエネルギー消費はサステナビリティの懸念を高め、消費者のハードウェアやリソースに制約のあるプラットフォームでの使用を妨げる。 本研究は,SEにおけるエネルギー利用知識蒸留の意義を考察し,性能を維持しつつモデル効率を向上させることを目的とした。
• 参考スコア（独自算出の注目度）: 10.915684166086026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Large Language Models (LLMs) are increasingly being applied to Software Engineering (SE) tasks, achieving high accuracy across problems such as clone detection, vulnerability prediction, and code summarization. However, their high computational demands and energy consumption raise sustainability concerns and hinder their use on consumer hardware and resource-constrained platforms. A common way to report the computational cost of an LLM in the literature and industry is to use the number of Floating Point Operations (FLOPs) required to perform a pass over the network. Aims: This paper investigates the implications of energy-aware knowledge distillation for SE, aiming to improve model efficiency while maintaining performance and to determine whether FLOPs is a reliable energy-aware metric. Method: We conduct a controlled experiment using Morph, a Many-Objective Optimization-based distillation methodology, to empirically examine whether FLOPs accurately reflect energy consumption in Clone Detection and Vulnerability Prediction tasks. We extend this methodology to include energy-surrogate models that directly estimate CPU and GPU energy consumption during optimization, and we apply Morph to generative tasks using CodeT5+ for code summarization. Results: Our results show that FLOPs is not always a reliable indicator of energy consumption, and better results can be achieved by using energy-surrogate models. Distilled student models can reduce inference energy consumption by up to 90\% and memory usage by 86\%, with only modest accuracy trade-offs. Conclusions: Energy-aware knowledge distillation when guided by direct energy surrogates rather than FLOPs can improve the energy consumption, sustainability, and deployability of LLMs for SE applications, enabling efficient models on consumer hardware.
• Abstract（参考訳）: 背景: 大規模言語モデル(LLM)は、ソフトウェア工学(SE)タスクにますます適用され、クローン検出、脆弱性予測、コードの要約といった問題にまたがって高い精度を達成する。 しかし、その高い計算要求とエネルギー消費はサステナビリティの懸念を高め、消費者ハードウェアやリソース制約のあるプラットフォームでの使用を妨げる。 文献・産業におけるLCMの計算コストを報告するための一般的な方法は、ネットワーク上のパスを実行するのに必要な浮動小数点演算(FLOP)の数を使うことである。 目的: 本報告では, SE のエネルギーを考慮した知識蒸留の有効性について検討し, 性能を維持しながらモデル効率を向上させるとともに, FLOPs が信頼性の高いエネルギー対応計量であるかどうかを判定する。 方法:多目的最適化に基づく蒸留法であるMorphを用いて,クローン検出および脆弱性予測タスクにおいてFLOPがエネルギー消費を正確に反映するかどうかを実証的に検証する。 我々は、最適化中のCPUとGPUのエネルギー消費を直接推定するエネルギー代理モデルを含むように拡張し、コード要約にCodeT5+を用いた生成タスクにMorphを適用した。 結果: FLOPは必ずしもエネルギー消費の信頼性を示す指標ではなく, エネルギー代理モデルを用いてより良い結果が得られることを示した。 蒸留された学生モデルは、推論エネルギーの消費を最大90%減らし、メモリ使用量を86パーセント減らし、わずかな精度のトレードオフしか持たない。 結論: FLOPよりも直接的エネルギー代理によって誘導されるエネルギーに配慮した知識蒸留は,SE アプリケーションにおける LLM のエネルギー消費,持続可能性,デプロイ性を向上させることができ,消費者ハードウェア上で効率的なモデルを実現することができる。

関連論文リスト

• Towards Green AI: Decoding the Energy of LLM Inference in Software Development [46.879983975894135]
  AI支援ツールはソフトウェア開発にますます統合されているが、大きな言語モデル(LLM)に依存しているため、相当な計算とエネルギーコストが伴う。 モデルが入力を処理して内部表現を構築した(1)プリフィルと,(2)デコードで格納された状態を用いて出力トークンを生成する(2)プリフィルとを区別し,LCM推定エネルギー消費の位相レベル解析を行う。
  論文  参考訳（メタデータ） (2026-02-05T14:38:19Z)
• Understanding Efficiency: Quantization, Batching, and Serving Strategies in LLM Energy Use [4.513690948889834]
  大規模言語モデル(LLM)はますます本番環境に配備され、計算資源やエネルギー需要の負担をトレーニングから推論へとシフトさせるのに寄与している。 我々は,同じモデルにおけるエネルギー消費のオーダー・オブ・マグニチュードの違いを,Emphsystemレベルの設計選択がいかに引き起こすかを示す。 我々の発見は、よりグリーンなAIサービスのための位相認識エネルギープロファイリングとシステムレベルの最適化を動機付けている。
  論文  参考訳（メタデータ） (2026-01-29T22:16:25Z)
• Optimising for Energy Efficiency and Performance in Machine Learning [3.8803432012641395]
  エネルギー消費オプティマイザ(ECOpt)はエネルギー効率とモデル性能を最適化することを示す。 ECOptは、これらのメトリクス間のトレードオフを解釈可能なフロンティアとして定量化する。 ECOpt の環境影響は,CIFAR-10 の 7 つのモデルを明らかにするのに有効であることを示す。
  論文  参考訳（メタデータ） (2026-01-13T21:28:58Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Sustainable LLM Inference for Edge AI: Evaluating Quantized LLMs for Energy Efficiency, Output Accuracy, and Inference Latency [6.306413686006502]
  我々はOllamaライブラリから28の量子化大言語モデル(LLM)を包括的に分析する。 我々は、複数の量子化レベルおよびタスクタイプにわたるエネルギー効率、推論性能、出力精度を評価する。 その結果,異なる量子化設定におけるエネルギー効率,推定速度,精度のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2025-04-04T11:29:30Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Prompt engineering and its implications on the energy consumption of Large Language Models [4.791072577881446]
  ソフトウェア工学における大規模言語モデル(LLM)は、計算資源、データセンター、二酸化炭素排出に関する深刻な問題を引き起こす。 本稿では,コード生成タスクにおけるLlama 3モデルの炭素排出に及ぼすPETの影響について検討する。
  論文  参考訳（メタデータ） (2025-01-10T11:49:31Z)
• BEFL: Balancing Energy Consumption in Federated Learning for Mobile Edge IoT [2.6872737601772956]
  Mobile Edge IoT(MEIoT)では、トレーニングと通信プロセスはデバイスの限られたバッテリーリソースを著しく減らすことができる。 我々は,グローバルモデル精度の向上,全エネルギー消費の最小化,デバイス間のエネルギー利用格差の低減という,3つの目標のバランスを図るための共同最適化フレームワークであるBEFLを提案する。 実験の結果、BEFLはグローバルモデル精度を1.6%改善し、エネルギー消費のばらつきを72.7%低減し、既存の方法と比較して総エネルギー消費を28.2%低減することがわかった。
  論文  参考訳（メタデータ） (2024-12-05T07:58:32Z)
• TinyML NLP Scheme for Semantic Wireless Sentiment Classification with Privacy Preservation [49.801175302937246]
  本研究は、エッジデバイスにプライバシ保護、エネルギー効率の高いNLPモデルをデプロイする際の洞察を提供する。 セマンティックスプリットラーニング(SL)を,エネルギー効率,プライバシ保護,小型機械学習(TinyML)フレームワークとして導入する。 その結果,FLの4倍,CLの約18倍の再現誤差の増加により,SLは計算能力とCO2排出量を著しく低減し,プライバシーの向上を図った。
  論文  参考訳（メタデータ） (2024-11-09T21:26:59Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)
• Risk-Aware Energy Scheduling for Edge Computing with Microgrid: A Multi-Agent Deep Reinforcement Learning Approach [82.6692222294594]
  マイクログリッドを用いたMECネットワークにおけるリスク対応エネルギースケジューリング問題について検討する。 ニューラルネットワークを用いたマルチエージェントディープ強化学習(MADRL)に基づくアドバンテージアクター・クリティック(A3C)アルゴリズムを適用し,その解を導出する。
  論文  参考訳（メタデータ） (2020-02-21T02:14:38Z)
• Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable Edge Computing Systems [87.4519172058185]
  エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。 定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。 実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
  論文  参考訳（メタデータ） (2020-02-20T04:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。