論文の概要: Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine
Translation
- arxiv url: http://arxiv.org/abs/2109.12584v1
- Date: Sun, 26 Sep 2021 12:30:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 11:06:09.851253
- Title: Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine
Translation
- Title(参考訳): 機械翻訳における二酸化炭素排出量のベンチマーク
- Authors: Mirza Yusuf, Praatibh Surana, Gauri Gupta and Krithika Ramesh
- Abstract要約: 本研究では, 炭素効率について検討し, トレーニングモデルによる環境影響の低減のための代替策を提案する。
本研究では,機械翻訳モデルの性能を複数の言語対で評価する。
これらのモデルの様々なコンポーネントを調べ、これらの二酸化炭素排出量を減らすために最適化できるパイプラインの側面を分析します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent times, there has been definitive progress in the field of NLP, with
its applications growing as the utility of our language models increases with
advances in their performance. However, these models require a large amount of
computational power and data to train, consequently leading to large carbon
footprints. Therefore, is it imperative that we study the carbon efficiency and
look for alternatives to reduce the overall environmental impact of training
models, in particular large language models. In our work, we assess the
performance of models for machine translation, across multiple language pairs
to assess the difference in computational power required to train these models
for each of these language pairs and examine the various components of these
models to analyze aspects of our pipeline that can be optimized to reduce these
carbon emissions.
- Abstract(参考訳): 近年,NLP の分野では,言語モデルの有用性が向上するにつれて,その応用が拡大するなど,大幅な進歩を遂げている。
しかし、これらのモデルには大量の計算能力とデータを訓練する必要があるため、カーボンフットプリントが大きくなる。
したがって、炭素効率を調べた上で、トレーニングモデル、特に大規模言語モデル全体の環境への影響を低減するための代替手段を探すことが不可欠である。
本研究では,複数の言語ペアをまたいだ機械翻訳モデルの性能を評価し,これらの言語ペア毎にこれらのモデルの訓練に必要な計算能力の差を評価し,これらのモデルの各種コンポーネントを調べ,これらの二酸化炭素排出量削減に最適化可能なパイプラインの側面を分析する。
関連論文リスト
- On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based
Multilingual Model [49.81429697921861]
多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。
高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
論文 参考訳(メタデータ) (2023-11-14T00:43:33Z) - Exploring the Carbon Footprint of Hugging Face's ML Models: A Repository
Mining Study [8.409033836300761]
この研究には、炭素排出量に関するHugging Face Hub APIに関する最初のリポジトリマイニング研究が含まれている。
本研究は,(1)MLモデル作成者がHugging Face Hub上でどのように二酸化炭素を計測し,報告するか,(2)トレーニングMLモデルの二酸化炭素排出量にどのような影響があるのか,という2つの研究課題に答えようとしている。
論文 参考訳(メタデータ) (2023-05-18T17:52:58Z) - Counting Carbon: A Survey of Factors Influencing the Emissions of
Machine Learning [77.62876532784759]
機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。
このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。
本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
論文 参考訳(メタデータ) (2023-02-16T18:35:00Z) - Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language
Model [72.65502770895417]
176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。
BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。
本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
論文 参考訳(メタデータ) (2022-11-03T17:13:48Z) - A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained
Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。
我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文 参考訳(メタデータ) (2022-10-13T15:47:09Z) - Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。
私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
論文 参考訳(メタデータ) (2022-06-10T17:04:04Z) - Carbon Footprint of Selecting and Training Deep Learning Models for
Medical Image Analysis [0.2936007114555107]
医用画像解析のための深層学習モデル(MIA)の開発における炭素フットプリントに着目した。
DLの炭素フットプリントを定量化するための4つのツールの特徴を提示し比較する。
モデル選択とトレーニングプロセスをより効率的にするための環境影響を減らすための簡単な戦略について論じる。
論文 参考訳(メタデータ) (2022-03-04T09:22:47Z) - Forecasting emissions through Kaya identity using Neural Ordinary
Differential Equations [3.4901787251083163]
我々は、国家レベルでの炭素排出量に関連するいくつかの指標の進化を予測するために、Neural ODEモデルを用いている。
この機械学習アプローチは、幅広い結果を生み出し、政策立案者に関連性のある洞察を与えるために使用できると結論付けている。
論文 参考訳(メタデータ) (2022-01-07T12:34:01Z) - HULK: An Energy Efficiency Benchmark Platform for Responsible Natural
Language Processing [76.38975568873765]
本稿では,自然言語処理のためのマルチタスクエネルギー効率ベンチマークプラットフォームであるHULKを紹介する。
我々は、事前訓練されたモデルのエネルギー効率を時間とコストの観点から比較する。
論文 参考訳(メタデータ) (2020-02-14T01:04:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。