論文の概要: The Ecological Footprint of Neural Machine Translation Systems

• arxiv url: http://arxiv.org/abs/2202.02170v1
• Date: Fri, 4 Feb 2022 14:56:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-07 19:05:27.447814
• Title: The Ecological Footprint of Neural Machine Translation Systems
• Title（参考訳）: ニューラルマシン翻訳システムの生態的足跡
• Authors: Dimitar Sherionov and Eva Vanmassenhove
• Abstract要約: 本章では、ニューラルMTシステムの生態的フットプリントに焦点を当てる。 トレーニング中のパワードレインとニューラルMTモデルによる推論から始まり、環境への影響に向かって進む。 全体のCO2排出量はアイルランドとオランダで計算される。
• 参考スコア（独自算出の注目度）: 2.132096006921048
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Over the past decade, deep learning (DL) has led to significant advancements in various fields of artificial intelligence, including machine translation (MT). These advancements would not be possible without the ever-growing volumes of data and the hardware that allows large DL models to be trained efficiently. Due to the large amount of computing cores as well as dedicated memory, graphics processing units (GPUs) are a more effective hardware solution for training and inference with DL models than central processing units (CPUs). However, the former is very power demanding. The electrical power consumption has economical as well as ecological implications. This chapter focuses on the ecological footprint of neural MT systems. It starts from the power drain during the training of and the inference with neural MT models and moves towards the environment impact, in terms of carbon dioxide emissions. Different architectures (RNN and Transformer) and different GPUs (consumer-grate NVidia 1080Ti and workstation-grade NVidia P100) are compared. Then, the overall CO2 offload is calculated for Ireland and the Netherlands. The NMT models and their ecological impact are compared to common household appliances to draw a more clear picture. The last part of this chapter analyses quantization, a technique for reducing the size and complexity of models, as a way to reduce power consumption. As quantized models can run on CPUs, they present a power-efficient inference solution without depending on a GPU.
• Abstract（参考訳）: 過去10年間で、ディープラーニング(dl)は、機械翻訳(mt)を含むさまざまな分野の人工知能において大きな進歩をもたらした。 これらの進歩は、増大するデータ量と大規模なdlモデルを効率的に訓練できるハードウェアなしでは不可能である。 大量の計算コアと専用メモリのおかげで、グラフィック処理ユニット(gpu)は中央処理ユニット(cpu)よりもdlモデルでトレーニングや推論を行うための効果的なハードウェアソリューションである。 しかし、前者は強い力を持っている。 電力消費は経済的にも生態学的にも影響がある。 本章は神経mtシステムの生態的足跡に焦点を当てる。 ニューラルネットワークmtモデルのトレーニングと推論の間、電力のドレインから始まり、二酸化炭素排出量の観点から環境への影響に向かって移動します。 異なるアーキテクチャ (RNN と Transformer) と異なるGPU (コンシューマグレート NVidia 1080Ti とワークステーショングレード NVidia P100) を比較した。 次に、アイルランドとオランダのCO2排出量を算出する。 NMTモデルとその生態への影響は、一般的な家電と比較して、より明確な絵を描くことができる。 この章の最後の部分は、消費電力を減らす方法として、モデルのサイズと複雑さを減らす技術である量子化を分析します。 量子化されたモデルはCPU上で実行できるため、GPUに依存することなく電力効率の高い推論ソリューションを提供する。

関連論文リスト

• MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs [55.95879347182669]
  MoEアーキテクチャは、推論コストの比例的な増加なしにモデルキャパシティを向上できることで有名である。 MoE-LightningはCPU-GPU-I/OパイプラインスケジュールであるCGOPipeを導入し、ページ重み付けにより高いリソース利用を実現する。 MoE-Lightningは、単一のT4 GPU(16GB)上でMixtral 8x7Bの最先端オフロード可能なLLM推論システムよりも最大10.3倍高いスループットを実現することができる
  論文  参考訳（メタデータ） (2024-11-18T01:06:12Z)
• BioNeMo Framework: a modular, high-performance library for AI model development in drug discovery [66.97700597098215]
  計算生物学と化学AIモデルのトレーニングを容易にするために,BioNeMo Frameworkを紹介した。 256のNVIDIA A100では、BioNeMo Frameworkは40億のパラメータBERTベースのPLMを4.2日で1兆個以上のトークンでトレーニングしている。 BioNeMo Frameworkはオープンソースで、誰でも自由に使える。
  論文  参考訳（メタデータ） (2024-11-15T19:46:16Z)
• ssProp: Energy-Efficient Training for Convolutional Neural Networks with Scheduled Sparse Back Propagation [4.77407121905745]
  バックプロパゲーション(BP)は、ディープラーニングモデルをトレーニングする際の計算コストの主要な源泉である。 ディープラーニングアーキテクチャにシームレスに統合できる汎用的でエネルギー効率の良い畳み込みモジュールを提案する。
  論文  参考訳（メタデータ） (2024-08-22T17:22:59Z)
• Sustainable Supercomputing for AI: GPU Power Capping at HPC Scale [20.30679358575365]
  最近の大規模言語モデルは、トレーニングとデプロイにかなりのリソースを必要とする。 適切なパワーキャッピング量では、温度とパワードローの両方に顕著な低下が見られる。 私たちの研究は、スーパーコンピュータスケールでのGPUパワーキャッピングの効果を、初めて実施し、より詳細に分析したものです。
  論文  参考訳（メタデータ） (2024-02-25T02:22:34Z)
• Towards Physical Plausibility in Neuroevolution Systems [0.276240219662896]
  人工知能(AI)モデル、特にディープニューラルネットワーク(DNN)の利用の増加は、トレーニングや推論における消費電力を増加させている。 本研究は機械学習(ML)におけるエネルギー消費の増大問題に対処する。 電力使用量をわずかに削減しても、大幅な省エネ、ユーザ、企業、環境に恩恵をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-01-31T10:54:34Z)
• Power Hungry Processing: Watts Driving the Cost of AI Deployment? [74.19749699665216]
  生成された多目的AIシステムは、機械学習(ML)モデルをテクノロジに構築するための統一的なアプローチを約束する。 この「一般性」の野心は、これらのシステムが必要とするエネルギー量と放出する炭素量を考えると、環境に急激なコストがかかる。 これらのモデルを用いて,代表的なベンチマークデータセット上で1,000の推論を行うのに必要なエネルギーと炭素の量として,デプロイメントコストを測定した。 本稿は、多目的MLシステムの展開動向に関する議論から締めくくり、エネルギーと排出の面でコストの増大に対して、その実用性はより意図的に重み付けされるべきである、と警告する。
  論文  参考訳（メタデータ） (2023-11-28T15:09:36Z)
• Harnessing Manycore Processors with Distributed Memory for Accelerated Training of Sparse and Recurrent Models [43.1773057439246]
  現在のAIトレーニングインフラストラクチャは、単一の命令多重データ(SIMD)とシストリック配列アーキテクチャによって支配されている。 分散ローカルメモリを用いた大規模並列多重命令型マルチデータアーキテクチャにおけるスパース・リカレントモデルトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-11-07T23:18:35Z)
• Cramming: Training a Language Model on a Single GPU in One Day [64.18297923419627]
  言語モデリングの最近のトレンドは、スケーリングによるパフォーマンス向上に焦点を当てている。 我々は,1つのコンシューマGPU上で1日間,マスク付き言語モデルを用いてゼロから完全に訓練されたトランスフォーマーベース言語モデルで達成可能なダウンストリーム性能について検討した。 この制約された設定であっても、大規模設定で観測されるスケーリングの法則に密接に従う性能を示す。
  論文  参考訳（メタデータ） (2022-12-28T18:59:28Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• M6-10T: A Sharing-Delinking Paradigm for Efficient Multi-Trillion Parameter Pretraining [55.16088793437898]
  極端なモデルのトレーニングには大量の計算とメモリフットプリントが必要です。 本稿では,高メモリフットプリント要求大モデルのための簡単なトレーニング戦略"Pseudo-to-Real"を提案する。
  論文  参考訳（メタデータ） (2021-10-08T04:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。