論文の概要: Dissecting Transformers: A CLEAR Perspective towards Green AI

• arxiv url: http://arxiv.org/abs/2510.02810v1
• Date: Fri, 03 Oct 2025 08:33:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.315321
• Title: Dissecting Transformers: A CLEAR Perspective towards Green AI
• Title（参考訳）: 変圧器の分離:グリーンAIへの展望
• Authors: Hemang Jain, Shailender Goyal, Divyansh Pandey, Karthik Vaidhyanathan,
• Abstract要約: 本稿では、トランスアーキテクチャのコアコンポーネント間での推論エネルギーに関する、初めてきめ細かい実験分析を行う。 本研究では,マイクロ秒単位のコンポーネント実行とミリ秒単位のエネルギーセンサの監視の時間的ミスマッチを克服する手法を提案する。 本研究は、エネルギー効率の良いトランスモデルを構築するための最初のステップとして、コンポーネントレベルの詳細なエネルギーベースラインを確立し、洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.6524460254566904
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The rapid adoption of Large Language Models (LLMs) has raised significant environmental concerns. Unlike the one-time cost of training, LLM inference occurs continuously at a global scale and now dominates the AI energy footprint. Yet, most sustainability studies report only coarse, model-level metrics due to the lack of fine-grained measurement methods, treating energy efficiency more as an afterthought than as a primary objective. We present the first fine-grained empirical analysis of inference energy across core components of transformer architecture. We propose a novel methodology, Component-Level Energy Assessment via Repeated sampling (CLEAR), to overcome temporal mismatch between microsecond scale component execution and monitoring of millisecond (ms) scale energy sensors. Using CLEAR, we evaluate 15 models spanning four distinct architecture types and consistently keep component-wise energy variance below 9.5\% while capturing more than 90\% of the model's total energy as individual components. Our empirical analysis reveals that Attention blocks consume significantly more energy per floating-point operation (FLOP), indicating that energy consumption is not proportionally aligned with FLOP counts. This shows that FLOPs alone fail to capture the true energy cost at a component level. Our findings establish detailed component-level energy baselines and provide insight as an initial step to build energy-efficient transformer models through component-level optimizations.
• Abstract（参考訳）: LLM(Large Language Models)の急速な採用は、環境問題を引き起こしている。 トレーニングの1回のコストとは異なり、LLM推論は世界規模で継続的に行われ、現在ではAIエネルギーフットプリントを支配している。 しかし、ほとんどの持続可能性研究は、きめ細かい測定方法が欠如していることから、粗いモデルレベルの測定しか報告していない。 本稿では、トランスアーキテクチャのコアコンポーネント間での推論エネルギーに関する、初めてきめ細かい実験分析を行う。 本稿では,マイクロ秒単位のコンポーネント実行とミリ秒単位のエネルギーセンサの監視の時間的ミスマッチを克服するために,繰り返しサンプリングによるコンポーネントレベルエネルギー評価法(CLEAR)を提案する。 CLEARを用いて、4つの異なるアーキテクチャタイプにまたがる15のモデルを評価し、コンポーネント単位のエネルギー分散を9.5\%以下に保ちながら、モデルの総エネルギーの90%以上を個々のコンポーネントとして取得する。 実験により,浮動小数点演算 (FLOP) あたりのアテンションブロックのエネルギー消費が有意に増加し,エネルギー消費がFLOP数に比例しないことが示された。 このことは、FLOPsのみが真のエネルギーコストをコンポーネントレベルで捉えるのに失敗したことを示している。 本研究は, コンポーネントレベルのエネルギーベースラインを詳細に把握し, コンポーネントレベルの最適化によりエネルギー効率の良いトランスフォーマーモデルを構築するための最初のステップとして洞察を提供する。

関連論文リスト

• Comparing energy consumption and accuracy in text classification inference [0.9208007322096533]
  本研究は,テキスト分類推定におけるモデル精度とエネルギー消費のトレードオフを系統的に評価する。 精度の点で最高の性能モデルはエネルギー効率も良いが、より大きなLCMはより低い分類精度ではるかに多くのエネルギーを消費する傾向がある。
  論文  参考訳（メタデータ） (2025-08-19T18:00:08Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Computing Within Limits: An Empirical Study of Energy Consumption in ML Training and Inference [2.553456266022126]
  機械学習(ML)は大きな進歩を遂げているが、その環境のフットプリントは依然として懸念されている。 本稿では,グリーンMLの環境影響の増大を認め,グリーンMLについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:59:34Z)
• On Feature Diversity in Energy-based Models [98.78384185493624]
  エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
  論文  参考訳（メタデータ） (2023-06-02T12:30:42Z)
• FemtoDet: An Object Detection Baseline for Energy Versus Performance Tradeoffs [27.006082622843653]
  常にオンの監視カメラのような畳み込みニューラルネットワークの視覚応用は、エネルギー制約にとって重要である。 本稿では,2つの視点からエネルギーと性能のトレードオフに到達するための検出器を設計し,ベースラインとして機能することを目的とする。
  論文  参考訳（メタデータ） (2023-01-17T06:24:08Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• IrEne: Interpretable Energy Prediction for Transformers [15.677294441315535]
  NLPモデルの既存のソフトウェアベースのエネルギー測定は、エネルギー消費とモデル実行の間の複雑な相互作用を考慮していないため正確ではない。 本稿では,幅広いトランスフォーマーベースNLPモデルの推論エネルギー消費を正確に予測する,解釈可能なエネルギー予測システムIrEneを提案する。
  論文  参考訳（メタデータ） (2021-06-02T14:43:51Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning [48.63610479916003]
  本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。 バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。 その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
  論文  参考訳（メタデータ） (2021-03-18T16:04:42Z)
• Multi-Agent Meta-Reinforcement Learning for Self-Powered and Sustainable Edge Computing Systems [87.4519172058185]
  エッジコンピューティング機能を有するセルフパワー無線ネットワークの効率的なエネルギー分配機構について検討した。 定式化問題を解くために,新しいマルチエージェントメタ強化学習(MAMRL)フレームワークを提案する。 実験の結果、提案されたMAMRLモデルは、再生不可能なエネルギー使用量を最大11%削減し、エネルギーコストを22.4%削減できることが示された。
  論文  参考訳（メタデータ） (2020-02-20T04:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。