論文の概要: The Energy Consumption of Transformer Fine-Tuning: A Roofline-Inspired Scaling Model

• arxiv url: http://arxiv.org/abs/2606.23546v1
• Date: Mon, 22 Jun 2026 16:18:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 18:15:09.306838
• Title: The Energy Consumption of Transformer Fine-Tuning: A Roofline-Inspired Scaling Model
• Title（参考訳）: 変圧器ファインチューニングのエネルギー消費--ルーフラインインスパイアされたスケーリングモデル
• Authors: Mansour Zoubeirou a Mayaki,
• Abstract要約: 複数のGPU上でのTransformerトレーニングのエネルギー消費をモデル化するためのフレームワークを提案する。 屋上モデルにインスパイアされた我々のアプローチは、スピードアップベースのハードウェア効率係数を取り入れている。 異種構成のトレーニングエネルギーを正確に予測するスケーリング法則モデルを導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models underpin modern natural language processing but incur rapidly growing computational and energy costs. As training scales in both model size and parallelism, accurately predicting energy consumption has become critical for sustainable and cost-aware system design. We present a framework for modeling the energy consumption of Transformer training on multiple GPUs. Using controlled architectural sweeps of BERT models, we relate measured energy to lightweight proxies for compute, memory traffic, and hardware efficiency. Inspired by roofline models, our approach incorporates a speedup-based hardware-efficiency factor that captures the effects of tensor parallelism and fully sharded data parallelism. We derive a scaling law model that accurately predicts training energy across heterogeneous configurations.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、現代の自然言語処理を支えるが、急速に増大する計算とエネルギーコストを支えている。 モデルサイズと並列性の両方でトレーニングがスケールするにつれて、持続可能でコストを意識したシステム設計において、正確なエネルギー消費の予測が重要になっている。 複数のGPU上でのTransformerトレーニングのエネルギー消費をモデル化するためのフレームワークを提案する。 BERTモデルの制御されたアーキテクチャスイープを用いて、測定エネルギーを計算、メモリトラフィック、ハードウェア効率のための軽量プロキシに関連付ける。 屋上モデルにインスパイアされた本手法では,テンソル並列性と完全シャードデータ並列性の影響を捉える高速化に基づくハードウェア効率係数を取り入れた。 異種構成のトレーニングエネルギーを正確に予測するスケーリング法則モデルを導出する。

関連論文リスト

• Unlocking Feature Learning in Gated Delta Networks at Scale [52.705562336559446]
  大規模言語モデルの訓練とスケーリングは膨大な計算資源を必要とする。 我々はGated Delta Networkのスケーリングルールを導出する。 言語モデル事前学習の実験により、我々の構成が安定した学習速度転送を可能にすることが確認された。
  論文  参考訳（メタデータ） (2026-06-02T08:45:24Z)
• Energy Scaling Laws for Diffusion Models: Quantifying Compute and Carbon Emissions in Image Generation [50.21021246855702]
  本稿では,計算複雑性(FLOP)に基づく拡散モデルに対するGPUエネルギー消費予測のためのKaplanスケーリング法の適用法を提案する。 提案手法は, テキストエンコーディング, 反復的復号化, 復号化コンポーネントへの拡散モデル推論を分解し, 複数の推論ステップをまたいだ繰り返し実行により, 演算の復号化がエネルギー消費を支配しているという仮説を導いた。 この結果は拡散予測の計算バウンドの性質を検証し、持続可能なAIデプロイメント計画と炭素フットプリント推定の基礎を提供する。
  論文  参考訳（メタデータ） (2025-11-21T08:12:47Z)
• Study Design and Demystification of Physics Informed Neural Networks for Power Flow Simulation [2.3641090634080064]
  電力フローシミュレータは、実装前の潜在的な動作を評価することで演算子をサポートするために一般的に使用される。 従来の物理ソルバは正確だが、ほぼリアルタイムで使うには遅すぎることが多い。 機械学習モデルは高速サロゲートとして登場し、物理法則への準拠を改善する。 本稿では, 物理的制約を正規化用語として組み込んだり, 教師なしの損失から, ハイブリダイゼーション戦略をデミスティフィケートするためのアブレーション研究について述べる。
  論文  参考訳（メタデータ） (2025-09-23T16:55:13Z)
• PearSAN: A Machine Learning Method for Inverse Design using Pearson Correlated Surrogate Annealing [66.27103948750306]
  PearSANは、大きな設計空間を持つ逆設計問題に適用可能な機械学習支援最適化アルゴリズムである。 ピアソン相関代理モデルを用いて、真の設計計量のメリットの図形を予測する。 最先端の最大設計効率は97%で、少なくとも以前の方法よりも桁違いに高速である。
  論文  参考訳（メタデータ） (2024-12-26T17:02:19Z)
• Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory [11.3128832831327]
  Transformerのサイズが大きくなると、パフォーマンスが向上するとは限らない。 本稿では,変圧器を用いた言語モデルの事前学習において,記憶に光を当てる理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-14T15:48:36Z)
• Improved particle-flow event reconstruction with scalable neural networks for current and future particle detectors [1.4609888393206634]
  電子-陽電子衝突における事象再構成のためのスケーラブルな機械学習モデルについて, フル検出器シミュレーションに基づく検討を行った。 グラフニューラルネットワークとカーネルベースのトランスフォーマーを比較し、現実的な再構築を実現しつつ、操作を回避できることを実証する。 最良のグラフニューラルネットワークモデルでは、ルールベースのアルゴリズムと比較して、ジェット横運動量分解能が最大50%向上している。
  論文  参考訳（メタデータ） (2023-09-13T08:16:15Z)
• TransCODE: Co-design of Transformers and Accelerators for Efficient Training and Inference [6.0093441900032465]
  本稿では,アクセラレータの設計空間におけるトランスフォーマー推論とトレーニングをシミュレートするフレームワークを提案する。 我々はこのシミュレータとTransCODEと呼ばれる共同設計手法を併用して最適性能のモデルを得る。 得られた変圧器・加速器対は、最先端の対よりも0.3%高い精度を達成する。
  論文  参考訳（メタデータ） (2023-03-27T02:45:18Z)
• Learning to Grow Pretrained Models for Efficient Transformer Training [72.20676008625641]
  そこでは、より小さなモデルのパラメータを線形にマッピングして、より大きなモデルを初期化する。 言語と視覚のトランスフォーマーをまたいだ実験では、学習した線形成長演算子(LiGO)が、スクラッチから最大50%の計算コストを節約できることが示されています。
  論文  参考訳（メタデータ） (2023-03-02T05:21:18Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation [91.05073136215886]
  「Actor-Learner Distillation」は、大容量学習者モデルから小容量学習者モデルへ学習の進捗を移す。 Actor-Learner Distillation を用いて,トランスフォーマー学習モデルの明確なサンプル効率向上を再現する,いくつかの挑戦的なメモリ環境を実証する。
  論文  参考訳（メタデータ） (2021-04-04T17:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。