論文の概要: Energy and Carbon Considerations of Fine-Tuning BERT

• arxiv url: http://arxiv.org/abs/2311.10267v2
• Date: Wed, 16 Oct 2024 17:22:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:39:44.323317
• Title: Energy and Carbon Considerations of Fine-Tuning BERT
• Title（参考訳）: 微調整BERTのエネルギーと炭素の考察
• Authors: Xiaorong Wang, Clara Na, Emma Strubell, Sorelle Friedler, Sasha Luccioni,
• Abstract要約: 本研究では,タスク,データセット,ハードウェアインフラストラクチャ,計測モダリティの微調整の計算コストについて検討する。 この結果から, 微調整エネルギーと炭素コストを事前学習と推定の観点から考察した。
• 参考スコア（独自算出の注目度）: 10.201220268573884
• License:
• Abstract: Despite the popularity of the `pre-train then fine-tune' paradigm in the NLP community, existing work quantifying energy costs and associated carbon emissions has largely focused on language model pre-training. Although a single pre-training run draws substantially more energy than fine-tuning, fine-tuning is performed more frequently by many more individual actors, and thus must be accounted for when considering the energy and carbon footprint of NLP. In order to better characterize the role of fine-tuning in the landscape of energy and carbon emissions in NLP, we perform a careful empirical study of the computational costs of fine-tuning across tasks, datasets, hardware infrastructure and measurement modalities. Our experimental results allow us to place fine-tuning energy and carbon costs into perspective with respect to pre-training and inference, and outline recommendations to NLP researchers and practitioners who wish to improve their fine-tuning energy efficiency.
• Abstract（参考訳）: NLPコミュニティにおける'pre-train then fine-tune'パラダイムの人気にもかかわらず、既存の研究はエネルギーコストと関連する炭素排出量を定量化しており、言語モデル事前学習に重点を置いている。 単発のプレトレーニングランは微調整よりもエネルギーをかなり多く引き出すが、より多くの個別のアクターによって微調整が頻繁に行われるため、NLPのエネルギーと炭素フットプリントを考慮する際には考慮しなければならない。 NLPにおけるエネルギー・炭素排出量の展望における微調整の役割をより正確に評価するために,タスク,データセット,ハードウェアインフラストラクチャ,測定モダリティをまたいだ微調整の計算コストについて,慎重に検討した。 実験結果から, 微調整エネルギーと炭素コストを事前学習と推定の観点から考察し, 微調整エネルギー効率の向上を望むNLP研究者や実践者への推奨事項を概説した。

関連論文リスト

• Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
  ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている 本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。 本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
  論文  参考訳（メタデータ） (2024-04-28T05:46:28Z)
• A Carbon Tracking Model for Federated Learning: Impact of Quantization and Sparsification [5.341266334051207]
  フェデレートラーニング(FL)手法は効率的なコミュニケーション技術を採用し、エッジデバイスに機械学習タスクを分散させる。 本稿では,FLシステムのエネルギーおよび炭素フットプリントへの影響をリアルタイムにモニタリングするためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-12T07:20:03Z)
• Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A Multi-Agent Reinforcement Learning Approach [48.18355658448509]
  生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。 地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。 本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-17T02:12:30Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model [72.65502770895417]
  176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
  論文  参考訳（メタデータ） (2022-11-03T17:13:48Z)
• An Energy and Carbon Footprint Analysis of Distributed and Federated Learning [42.37180749113699]
  古典的で中央集権的な人工知能(AI)手法では、生産者(センサー、マシン)からエネルギー空腹のデータセンターへデータを移動する必要がある。 このような高エネルギーコストを緩和する新たな代替手段は、デバイス間で学習タスクを効率的に分散またはフェデレートすることを提案している。 本稿では,分散学習におけるエネルギーおよび炭素フットプリントの分析のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-06-21T13:28:49Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• Full-Cycle Energy Consumption Benchmark for Low-Carbon Computer Vision [31.781943982148025]
  我々は,効率的なコンピュータビジョンモデルのための最初の大規模エネルギー消費ベンチマークを示す。 モデル利用強度の異なる全サイクルエネルギー消費を明示的に評価するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2021-08-30T18:22:36Z)
• Carbon Emissions and Large Neural Network Training [19.233899715628073]
  我々は最近の大型モデルT5, Meena, GShard, Switch Transformer, GPT-3のエネルギー使用量と炭素フットプリントを算出する。 エネルギー効率とCO2排出量(CO2e)を改善するための次の機会を強調します。 MLの炭素フットプリントを減らすために、エネルギー使用量とCO2eはモデルを評価する上で重要な指標であるべきだと考えています。
  論文  参考訳（メタデータ） (2021-04-21T04:44:25Z)
• Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning [68.37641996188133]
  我々は、リアルタイムエネルギー消費と二酸化炭素排出量を追跡するための枠組みを導入する。 エネルギー効率のよい強化学習アルゴリズムのためのリーダーボードを作成します。 炭素排出量削減とエネルギー消費削減のための戦略を提案する。
  論文  参考訳（メタデータ） (2020-01-31T05:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。