論文の概要: Towards Resource-Efficient LLMs: End-to-End Energy Accounting of Distillation Pipelines

• arxiv url: http://arxiv.org/abs/2605.13981v1
• Date: Wed, 13 May 2026 18:01:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.442206
• Title: Towards Resource-Efficient LLMs: End-to-End Energy Accounting of Distillation Pipelines
• Title（参考訳）: 資源効率の高いLCMを目指して:蒸留パイプラインのエンド・ツー・エンドエネルギー会計
• Authors: Katherine Lambert, Sasha Luccioni,
• Abstract要約: 蒸留は、安価でより効率的なモデルを得るための最も効果的な経路の1つとしてしばしば推進される。 蒸留パイプラインの完全計算コストを測定するための総合的なエネルギー会計フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.541818456943479
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise in deployment of large language models has driven a surge in GPU demand and datacenter scaling, raising concerns about electricity use, grid stress, and the impacts of modern AI workloads. Distillation is often promoted as one of the most effective paths to obtain cheaper, more efficient models, yet these claims rarely account for the full end-to-end energy and resource costs, including crucial teacher-side workloads such as data generation, logit caching, and evaluation. We present a comprehensive energy accounting framework that measures the complete computational cost of distillation pipelines via detailed stage-wise tracking of GPU device power consumption. In our experiments, we separate and log empirical energy use across distinct phases and systematically measure the energy and emissions of two common distillation methods: the classic logit-based knowledge distillation and synthetic-data supervised fine-tuning, constructing energy-quality Pareto frontiers that expose the previously ignored costs. From these measurements and analyses, we derive practical design rules for selecting distillation methods and hyperparameters under energy and budget constraints, and release an open-source measurement harness and accounting protocol to provide a standardized foundation for comparable, reproducible distillation research, explicitly accountable for complete pipeline energy impact.
• Abstract（参考訳）: 大規模言語モデルのデプロイの増加により、GPUの需要とデータセンタのスケーリングが急増し、電気使用やグリッドストレス、現代的なAIワークロードの影響に対する懸念が高まりました。 蒸留は、安価で効率的なモデルを得るための最も効果的な道の1つとしてしばしば推奨されるが、これらの主張は、データ生成、ロジットキャッシング、評価といった重要な教師側のワークロードを含む、エンド・ツー・エンドのエネルギーとリソースコストを完全に考慮することは滅多にない。 本稿では、GPU装置の消費電力の詳細な段階的追跡により、蒸留パイプラインの完全な計算コストを測定するための総合的なエネルギー会計フレームワークを提案する。 本実験では, 従来のロジット方式の知識蒸留と, 合成データによる微調整, エネルギー品質の高いパレートフロンティアの構築という, 従来無視されていたコストを露呈する2つの一般的な蒸留手法のエネルギー・排出を系統的に測定し, 実験を行った。 これらの測定と分析から,エネルギー・予算制約下で蒸留方法と過度パラメータを選択するための実用的な設計ルールを導出するとともに,パイプラインエネルギーの完全な影響について明確に説明可能な,再現性のある蒸留研究の標準化基盤を提供するためのオープンソースの測定ハーネスおよび会計プロトコルをリリースする。

関連論文リスト

• Perspective: Towards sustainable exploration of chemical spaces with machine learning [49.29528647472741]
  持続可能な進歩は、オープンデータとモデル、再利用可能なデータセット、ドメイン固有のAIシステムに依存します。 我々は、汎用機械学習(ML)モデル、多要素アプローチ、モデルの蒸留、アクティブラーニングなど、効率を高めるための新たな戦略を強調した。
  論文  参考訳（メタデータ） (2026-03-31T13:29:20Z)
• EconProver: Towards More Economical Test-Time Scaling for Automated Theorem Proving [64.15371139980802]
  大規模言語モデル(LLM)は、最近、自動定理証明(ATP)の分野を進歩させた。 ATPモデルに対する異なるテスト時間スケーリング戦略は、推論にかなりの計算オーバーヘッドをもたらすことを示す。 本稿では,統一EconRLパイプラインに統合可能な2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T03:00:13Z)
• A Beginner's Guide to Power and Energy Measurement and Estimation for Computing and Machine Learning [0.5224038339798622]
  本稿では,エネルギー測定ツールの音質化に要する主な考察を紹介する。 これには、オン・ザ・ウォールとオン・デバイスの測定、サンプリング戦略とベストプラクティス、一般的なエラー源、プロキシ測定などが含まれる。 測定手法の現状を改善するための行動を呼び掛けて締めくくっている。
  論文  参考訳（メタデータ） (2024-12-11T19:00:00Z)
• Computing Within Limits: An Empirical Study of Energy Consumption in ML Training and Inference [2.553456266022126]
  機械学習(ML)は大きな進歩を遂げているが、その環境のフットプリントは依然として懸念されている。 本稿では,グリーンMLの環境影響の増大を認め,グリーンMLについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:59:34Z)
• Power Hungry Processing: Watts Driving the Cost of AI Deployment? [74.19749699665216]
  生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。 この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。 これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。 本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
  論文  参考訳（メタデータ） (2023-11-28T15:09:36Z)
• A Carbon Tracking Model for Federated Learning: Impact of Quantization and Sparsification [5.341266334051207]
  フェデレートラーニング(FL)手法は効率的なコミュニケーション技術を採用し、エッジデバイスに機械学習タスクを分散させる。 本稿では,FLシステムのエネルギーおよび炭素フットプリントへの影響をリアルタイムにモニタリングするためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-12T07:20:03Z)
• An Energy and Carbon Footprint Analysis of Distributed and Federated Learning [42.37180749113699]
  古典的で中央集権的な人工知能(AI)手法では、生産者(センサー、マシン)からエネルギー空腹のデータセンターへデータを移動する必要がある。 このような高エネルギーコストを緩和する新たな代替手段は、デバイス間で学習タスクを効率的に分散またはフェデレートすることを提案している。 本稿では,分散学習におけるエネルギーおよび炭素フットプリントの分析のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-06-21T13:28:49Z)
• Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable Edge Computing Systems [87.4519172058185]
  エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。 定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。 実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
  論文  参考訳（メタデータ） (2020-02-20T04:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。