論文の概要: Reporting and Analysing the Environmental Impact of Language Models on the Example of Commonsense Question Answering with External Knowledge

• arxiv url: http://arxiv.org/abs/2408.01453v1
• Date: Wed, 24 Jul 2024 16:16:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 04:59:02.221267
• Title: Reporting and Analysing the Environmental Impact of Language Models on the Example of Commonsense Question Answering with External Knowledge
• Title（参考訳）: 言語モデルにおける環境影響の報告と分析 : 外部知識を用いたコモンセンス質問の事例から
• Authors: Aida Usmanova, Junbo Huang, Debayan Banerjee, Ricardo Usbeck,
• Abstract要約: チャットGPTは大規模言語モデル(LLM)に社会的な関心を喚起した LLMは相当な計算資源を必要としており、財政的にも環境的にも訓練に非常に費用がかかる。 本研究では,外部知識でT5 LLMを注入し,質問応答タスクのモデルを微調整した。
• 参考スコア（独自算出の注目度）: 7.419725234099729
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human-produced emissions are growing at an alarming rate, causing already observable changes in the climate and environment in general. Each year global carbon dioxide emissions hit a new record, and it is reported that 0.5% of total US greenhouse gas emissions are attributed to data centres as of 2021. The release of ChatGPT in late 2022 sparked social interest in Large Language Models (LLMs), the new generation of Language Models with a large number of parameters and trained on massive amounts of data. Currently, numerous companies are releasing products featuring various LLMs, with many more models in development and awaiting release. Deep Learning research is a competitive field, with only models that reach top performance attracting attention and being utilized. Hence, achieving better accuracy and results is often the first priority, while the model's efficiency and the environmental impact of the study are neglected. However, LLMs demand substantial computational resources and are very costly to train, both financially and environmentally. It becomes essential to raise awareness and promote conscious decisions about algorithmic and hardware choices. Providing information on training time, the approximate carbon dioxide emissions and power consumption would assist future studies in making necessary adjustments and determining the compatibility of available computational resources with model requirements. In this study, we infused T5 LLM with external knowledge and fine-tuned the model for Question-Answering task. Furthermore, we calculated and reported the approximate environmental impact for both steps. The findings demonstrate that the smaller models may not always be sustainable options, and increased training does not always imply better performance. The most optimal outcome is achieved by carefully considering both performance and efficiency factors.
• Abstract（参考訳）: 人為的な排出は警戒速度で増加しており、気候や環境全般に既に観測可能な変化をもたらしている。 毎年、温室効果ガス排出量の0.5%が2021年時点でデータセンターによるものと報告されている。 2022年後半のChatGPTのリリースは、大量のパラメータを持つ新しい世代の言語モデルであるLarge Language Models (LLMs)への社会的関心を喚起した。 現在、多くの企業が様々なLSMをフィーチャーした製品をリリースしており、さらに多くのモデルが開発され、リリースを待っている。 ディープラーニングの研究は競争力のある分野であり、最高パフォーマンスに達するモデルだけが注目を集め、利用されています。 したがって、より良い精度と結果を達成することが最優先事項であり、モデルの有効性と研究の環境への影響は無視される。 しかし、LLMは相当な計算資源を必要としており、財政的にも環境的にも訓練に非常に費用がかかる。 意識を高め、アルゴリズムとハードウェアの選択に関する意識的な決定を促進することが不可欠である。 トレーニング時間に関する情報を提供することで、近似二酸化炭素排出量と電力消費は、必要な調整を行い、利用可能な計算資源とモデル要件との整合性を決定する将来の研究に役立つだろう。 本研究では,外部知識でT5 LLMを注入し,質問応答タスクのモデルを微調整した。 さらに,両段階の環境影響を算出し,報告した。 この結果は、小さなモデルが常に持続可能な選択肢であるとは限らないことを示し、トレーニングの増加が必ずしもパフォーマンスを向上するとは限らないことを示唆している。 最も最適な結果は、性能と効率の両要素を慎重に検討することで達成される。

関連論文リスト

• Green AI: Exploring Carbon Footprints, Mitigation Strategies, and Trade Offs in Large Language Model Training [9.182429523979598]
  特に炭素フットプリントが高い大言語モデルのCO2排出量について検討した。 我々は, 二酸化炭素排出削減対策を提案することによって, 責任と持続性を有するLLMの育成を議論する。
  論文  参考訳（メタデータ） (2024-04-01T15:01:45Z)
• Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM [77.17254959695218]
  ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。 我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。 本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
  論文  参考訳（メタデータ） (2023-12-14T22:04:07Z)
• A Comparative Study of Machine Learning Algorithms for Anomaly Detection in Industrial Environments: Performance and Environmental Impact [62.997667081978825]
  本研究は,環境の持続可能性を考慮した高性能機械学習モデルの要求に応えることを目的としている。 Decision TreesやRandom Forestsといった従来の機械学習アルゴリズムは、堅牢な効率性とパフォーマンスを示している。 しかし, 資源消費の累積増加にもかかわらず, 最適化された構成で優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-07-01T15:18:00Z)
• Counting Carbon: A Survey of Factors Influencing the Emissions of Machine Learning [77.62876532784759]
  機械学習(ML)は、モデルトレーニングプロセス中に計算を実行するためにエネルギーを使用する必要がある。 このエネルギーの生成には、使用量やエネルギー源によって、温室効果ガスの排出という観点からの環境コストが伴う。 本稿では,自然言語処理とコンピュータビジョンにおいて,95のMLモデルの炭素排出量の時間的および異なるタスクに関する調査を行う。
  論文  参考訳（メタデータ） (2023-02-16T18:35:00Z)
• A comparative study of statistical and machine learning models on near-real-time daily emissions prediction [0.0]
  二酸化炭素排出量の急激な上昇は、地球温暖化と気候変動の大きな原因である。 本稿は、2020年1月1日から2022年9月30日までの日中排出量予測に適したモデルを選択することを目的とする。
  論文  参考訳（メタデータ） (2023-02-02T15:14:27Z)
• Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model [72.65502770895417]
  176ビリオンパラメータ言語モデルBLOOMの炭素フットプリントを,そのライフサイクルにわたって定量化する。 BLOOMの最終訓練で約24.7トンのカルボネックが放出されたと推定する。 本稿では,機械学習モデルの炭素フットプリントを正確に推定することの難しさについて論じる。
  論文  参考訳（メタデータ） (2022-11-03T17:13:48Z)
• Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
  我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-10T17:04:04Z)
• A Multi-Objective Approach for Sustainable Generative Audio Models [1.933681537640272]
  近年、ディープラーニングコミュニティは、深層生成モデルの正確性に重点を置いている。 品質に関するこの科学的競争は、膨大な計算コストがかかる。 計算消費の現在の指数的な増加が続くと、人工知能は悲しいことに地球温暖化にかなりの貢献をする。
  論文  参考訳（メタデータ） (2021-07-06T13:52:27Z)
• Analyzing Sustainability Reports Using Natural Language Processing [68.8204255655161]
  近年、企業は環境への影響を緩和し、気候変動の状況に適応することを目指している。 これは、環境・社会・ガバナンス(ESG)の傘下にある様々な種類の気候リスクと暴露を網羅する、ますます徹底した報告を通じて報告されている。 本稿では,本稿で開発したツールと方法論について紹介する。
  論文  参考訳（メタデータ） (2020-11-03T21:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。