The climate impact of AI, and NLP research in particular, has become a
serious issue given the enormous amount of energy that is increasingly being
used for training and running computational models. Consequently, increasing
focus is placed on efficient NLP. However, this important initiative lacks
simple guidelines that would allow for systematic climate reporting of NLP
research. We argue that this deficiency is one of the reasons why very few
publications in NLP report key figures that would allow a more thorough
examination of environmental impact. As a remedy, we propose a climate
performance model card with the primary purpose of being practically usable
with only limited information about experiments and the underlying computer
hardware. We describe why this step is essential to increase awareness about
the environmental impact of NLP research and, thereby, paving the way for more
thorough discussions.
Towards Climate Awareness in NLP Research Daniel Hershcovich
NLP研究における気候意識への取り組み
0.73
Nicolas Webersinke Mathias Kraus
Nicolas Webersinke Mathias Kraus
0.42
University of Copenhagen FAU Erlangen-Nuremberg
コペンハーゲン大学 FAU Erlangen-Nuremberg
0.46
dh@di.ku.dk
dh@di.ku.dk
0.29
{nicolas.webersinke, mathias.kraus}@fau.de
mathias.kraus}@fau.de
0.32
Julia Anna Bingler
ジュリア・アンナ・ビングラー
0.33
ETH Zurich
ETH チューリッヒ
0.69
binglerj@ethz.ch
binglerj@ethz.ch
0.39
Markus Leippold University of Zurich
チューリッヒのmarkus leippold大学
0.56
markus.leippold@bf.u zh.ch
markus.leippold@bf.u zh.ch
0.24
2 2 0 2 y a M 1 1
2 2 0 2 y a m 1 1 である。
0.54
] L C . s c [ 2 v 1 7 0 5 0
]LC。 sc [ 2 v 1 7 0 5 0
0.30
. 5 0 2 2 : v i X r a
. 5 0 2 2 : v i X r a
0.42
Abstract The climate impact of AI, and NLP research in particular, has become a serious issue given the enormous amount of energy that is increasingly being used for training and running computational models.
We argue that this deficiency is one of the reasons why very few publications in NLP report key figures that would allow a more thorough examination of environmental impact.
As a remedy, we propose a climate performance model card with the primary purpose of being practically usable with only limited information about experiments and the underlying computer hardware.
We describe why this step is essential to increase awareness about the environmental impact of NLP research and, thereby, paving the way for more thorough discussions.
Introduction 1 As Artificial Intelligence (AI), and specifically Natural Language Processing (NLP), scale up to require more computational resources and thereby more energy, there is an increasing focus on efficiency and sustainability (Strubell et al , 2019; Schwartz et al , 2020).
はじめに 1. 人工知能(AI)、特に自然言語処理(NLP)は、より多くの計算リソースを必要とし、より多くのエネルギーを必要とするため、効率と持続性に重点が置かれている(Strubell et al , 2019; Schwartz et al , 2020)。
0.66
For example, training a single BERT base model (Devlin et al , 2019) requires as much energy as a trans-American flight (Strubell et al , 2019).
例えば、単一のBERTベースモデル(Devlin et al , 2019)のトレーニングには、米国横断飛行(Strubell et al , 2019)と同じくらいのエネルギーが必要である。
0.80
While newer models are arguably more efficient (Fedus et al , 2021; Borgeaud et al , 2022; So et al , 2022), they are also an order of magnitude larger, raising environmental concerns (Bender et al , 2021).
新しいモデルは間違いなく効率が良いが(Fedus et al , 2021; Borgeaud et al , 2022; So et al , 2022)、環境問題も大きい(Bender et al , 2021)。 訳抜け防止モード: 新しいモデルは間違いなく効率的である(Fedus et al)。 2021 ; Borgeaud et al, 2022 ; So et al, 2022年) も桁違いに大きい。 環境問題(Bender et al, 2021)を提起する。
0.72
The problem will only worsen with time, as compute requirements double every 10 months (Sevilla et al , 2022).
問題は時間とともに悪化し、計算要求は10ヶ月ごとに倍増する(sevilla et al, 2022)。
0.77
A group of NLP researchers has recently proposed a policy document1 of recommendations for 1https://www.aclweb. org/portal/conten
Figure 1: Example usage of our proposed climate performance model card (§4).
図1: 提案した気候パフォーマンスモデルカードの例(4)。
0.73
efficient NLP, aiming to minimize the greenhouse gas (GHG) emissions2 resulting from experiments done as part of the research.
効率的なNLPは、温室効果ガス(GHG)排出量を最小化することを目的としている。
0.66
This proposal is part of a research stream aiming towards Green NLP and Green AI (Schwartz et al , 2020), which refers to “AI research that yields novel results while taking into account the computational cost, encouraging a reduction in resources spent.”
この提案は、グリーンNLPとグリーンAI(Schwartz et al , 2020)を目指す研究の流れの一部であり、計算コストを考慮して新しい結果を得るAI研究であり、費やしたリソースの削減を促進するものである。
0.79
Greenwashing.
グリーンウォッシング。
0.62
While branding NLP and AI research as green increases awareness of the environmental impact, there is a risk that the current framing, which exclusively addresses efficiency, will be perceived as the solution to the problem.
However, we claim that climate awareness is essential enough to be promoted in mainstream NLP (rather than only as a niche field) and that positive impact must be an inherent part of the discussion
2GHG, CO2, and carbon are used interchangeably in this paper.
本論文では, 2GHG, CO2, 炭素を交互に用いた。
0.72
CO2eq (or CO2e), i.e., carbon dioxide equivalent translates GHG other than CO2 into CO2 equivalents based on the global warming potential (Brander and Davis, 2012).
CO2eq(またはCO2e)、すなわち二酸化炭素等価量(CO2以外のGHGを地球温暖化ポテンシャルに基づくCO2等価量に変換する(Brander and Davis, 2012)。
0.78
英語（論文から抽出）
日本語訳
スコア
(Rolnick et al , 2019; Stede and Patz, 2021).
(Roolnick et al , 2019; Stede and Patz, 2021)。
0.39
Of course, we attribute benevolent motives to the authors of the proposed policy document.
もちろん、我々は、提案された政策文書の著者に好意的な動機を与えます。
0.67
Nevertheless, we would like to avoid a situation analogous to a common phenomenon in the financial field, where companies brand themselves as green or sustainable for branding or financial reasons, without implementing proportional measures in practice to mitigate the negative impact on the environment (Delmas and Burbano, 2011).
それにもかかわらず、企業は環境への悪影響を軽減するために実際に比例措置を講じることなく、ブランディングや財務上の理由から緑や持続可能なブランドをブランドする金融分野における共通の現象と類似した状況を避けたい(delmas and burbano, 2011)。
0.75
This malpractice is analogous to greenwashing.
この悪用は緑洗に似ている。
0.49
While this is a general term, one aspect of greenwashing is “a claim suggesting that a product is green based on a narrow set of attributes without attention to other important environmental issues” (TerraChoice, 2010).3
Our motivation is in line with the EU Commission’s initiative to “require companies to substantiate claims they make about the environmental footprint of their products/services by using standard methods for quantifying them. The aim is to make the claims reliable, comparable and verifiable across the EU— reducing ‘greenwashing’ (companies giving a false impression of their environmental impact).”4 While Schwartz et al (2020) certainly do not argue that efficiency is sufficient for sustainability, this notion, which is potentially implied by the green branding, is misleading and even harmful: regardless of the extent of reduction, resources are still consumed, and GHGs are still emitted, among other negative effects.
Our motivation is in line with the EU Commission’s initiative to “require companies to substantiate claims they make about the environmental footprint of their products/services by using standard methods for quantifying them. The aim is to make the claims reliable, comparable and verifiable across the EU— reducing ‘greenwashing’ (companies giving a false impression of their environmental impact).”4 While Schwartz et al (2020) certainly do not argue that efficiency is sufficient for sustainability, this notion, which is potentially implied by the green branding, is misleading and even harmful: regardless of the extent of reduction, resources are still consumed, and GHGs are still emitted, among other negative effects. 訳抜け防止モード: 当社のモチベーションは、EU委員会による「企業が主張を裏付けるよう要求する」イニシアチブと一致している。 自分たちの製品やサービスの 環境のフットプリントを その目的は、EU全体で主張を信頼し、比較し、検証できるようにすることであり、「グリーンウォッシング」を減らすことである(環境への影響を誤った印象を与える企業)。 Schwartzら(2020)は、効率が持続可能性に十分であると主張するわけではない。 この概念はグリーンブランディングによってもたらされます 誤解を招き 有害です 削減の程度にかかわらず 資源はまだ消費されています GHGは依然として放出され、その他のネガティブな効果がある。
0.71
The efficiency mindset aims, at best, to prolong the duration of this situation.
効率の考え方は、せいぜい、この状況の持続期間を延長することを目的としています。
0.53
However, scaling up the performance of AI to satisfy the increasing demands from consumers risks ignoring the externalities incurred.
Concepts such as reciprocity with the environment or positive impact on it, which are central in some indigenous worldviews (Kimmerer, 2013), are mostly excluded from the discourse.
Carbon offsetting. A common perception is that carbon neutrality can be achieved by compensating
炭素オフセット。 一般的な認識は、炭素中立性は補償によって達成できるということである。
0.59
3Paper, for example, is not necessarily environmentally preferable just because it comes from a sustainably harvested forest.
例えば、3紙は、持続的に収穫される森林に由来するため、必ずしも環境上好まれるものではない。
0.64
Other important environmental issues in the papermaking process, such as greenhouse gas emissions or chlorine use in bleaching, may be equally important.
Other examples are energy, utilities, and gasoline corporations that advertise about the benefits of new sources of energy while some are drilling into unexplored areas to source oil and thus destroying natural habitats and losing biodiversity, disguising the imbued hidden impacts (de Freitas Netto et al , 2020).
その他の例として、エネルギー、公益事業、ガソリン会社があり、新しいエネルギー源の利点を宣伝する一方で、石油の供給源となる未探査地域を掘削し、自然の生息地を破壊し、生物多様性を失わせている者もいる(de freitas netto et al, 2020)。
for emissions by financial contributions, a practice referred to as carbon offsets.
炭素オフセットという,財政的な貢献による排出量の削減。
0.62
However, following such an approach is problematic because of a controversial and often misleading debate about this concept and the level of carbon prices required to achieve climate goals (Hyams and Fawcett, 2013).
しかし、こうしたアプローチに従えば、この概念と気候目標を達成するのに必要な炭素価格のレベルに関する議論がしばしば誤解を招くので問題となる(hyams and fawcett, 2013)。
0.78
The Intergovernmental Panel on Climate Change (IPCC) and various international organizations like the International Energy Agency (IEA) clearly state that mitigation activities are essential.
Compensation activities will be necessary for hard-to-abatesectors , once all other technological solutions have been implemented, and where mitigation is not (yet) feasible.5
Moreover, economic dynamic efficiency requires investments in decarbonization technologies to keep the climate targets within reach.
さらに、経済のダイナミックな効率性は、気候目標に到達できるように脱炭技術に投資する必要がある。
0.64
Compensation activities, especially in the afforestation area, delay the needed investments.
特に森林地帯での補償活動は必要な投資を遅らせる。
0.66
This delay might exacerbate the likelihood of crossing climate tipping points and/or yields to a disorderly transition to a decarbonized economy (European Systemic Risk Board, 2016).
Automated reporting. Another research stream (see §4.1) provides researchers with software tools to measure carbon footprint while training models, and report it in their manuscripts (Lacoste et al , 2019; Henderson et al , 2020; Anthony et al , 2020; Lottick et al , 2019).
自動報告。 別の研究の流れ(4.1)は、トレーニングモデル中に炭素排出量を測定し、それを原稿に報告するソフトウェアツールを研究者に提供する(La Coste et al , 2019; Henderson et al , 2020; Anthony et al , 2020; Lottick et al , 2019)。
0.79
While these proposed tools are very helpful, our literature survey (§2) shows that adaption by the community is limited.
提案ツールは非常に有効であるが,文献調査(2)では,コミュニティによる適応は限られている。
0.77
We argue that this results from technical issues that limit the application to standard systems.
これは、標準システムへのアプリケーションを制限する技術的問題の結果であると主張する。
0.67
More importantly, we argue that the limited usage of these tools is caused by insufficient awareness about the topic of carbon footprint in NLP, despite substantial efforts within the community.
Improving the accuracy and easy of use of such reporting tools is one of the key challenges of the field (Schwartz et al , 2020).
このような報告ツールの精度と使いやすさの向上は、この分野における重要な課題の1つである(Schwartz et al , 2020)。
0.72
Contributions. to the aforementioned approaches, we aim to simplify climate performance reporting while at the same time increasing awareness to its intricacies.
• We delineate the different notions of “efficiency” common in the literature, proposing a taxonomy to facilitate transparent reporting, and identify ten simple dimensions across which researchers can describe the environmental impact resulted by their research (§3).
• We propose a climate performance model card (§4) with the main purpose of being practically usable with only limited information about experiments and the underlying computer hardware (see Figure 1).
The issue of environmental impact is more general and not limited to NLP, but relevant to the entire field of AI: Schwartz et al (2020) surveyed papers from ACL, NeurIPS, and CVP.
環境影響の問題は、より一般的なものであり、NLPに限ったものではないが、AIの分野全体に関連する: Schwartz et al (2020)はACL、NeurIPS、CVPの論文を調査した。
0.70
They noted whether authors claim their main contribution to improving accuracy or some related measure, an improvement to efficiency, both, or other.
In all the conferences they considered, a large majority of the papers target accuracy.
彼らが考慮したすべてのカンファレンスにおいて、ほとんどの論文は正確さを目標としている。
0.47
However, we claim that the issue is more complex, and it is not sufficient to consider only the “main contribution.”
しかし、この問題はより複雑であり、「主な貢献」のみを考慮するだけでは不十分であると主張する。
0.72
Every paper should ideally have a positive impact or provide sufficient information to discuss meaningful options to reduce and mitigate negative impacts.
However, instead of focusing on the main contribution, we look for any discussions on climate-related issues.
しかし、主な貢献に焦点をあてる代わりに、気候問題に関するいかなる議論も求めています。
0.74
We identify five dimensions in our study sample and create a regex pattern for each.7
研究サンプルの5次元を識別し,それぞれにRegexパターンを作成する。
0.66
These dimensions are public model weights, duration of model training or optimization, energy consumption, the location where computations are performed, and GHG emissions.
anonymized. 8While more recent papers have a dedicated “broader impact” section (see §4), in older papers, this discussion can appear anywhere in the text.
Figure 2: Development of proportions of deeplearning-related *ACL papers discussing public model weights, duration of model training or optimization, energy consumption, location where computations where performed, and emission of GHG.
for those using other machine learning algorithms.
他の機械学習アルゴリズムを使っています
0.79
While our approach with regex patterns is not perfect, we argue that it is sufficient to get a sense of the development of climate-related discussions in the literature.
Efficiency (alongside accuracy) has been one of the main objectives in NLP (and computer science in general) long before its environmental aspects have been widely considered.
In general, it refers to the amount of resources consumed (input) in order to achieve a given goal, such as a specific computation
一般に、特定の計算などの特定の目標を達成するために消費される資源(入力)の量を指す。
0.75
英語（論文から抽出）
日本語訳
スコア
or accuracy in a task (output).
またはタスク(出力)の正確さ。
0.76
Different definitions of efficiency correspond to different concepts of input and output.
効率の異なる定義は入力と出力の異なる概念に対応する。
0.86
It is crucial to (1) understand the different concepts, (2) be aware of their differences and consequently their climate impact, and (3) converge towards a set of efficiency measures that will be applied for comparable climate performance evaluation in NLP research.
Schwartz et al (2020) sets out to compare several efficiency measures in AI.
Schwartz et al (2020) は、AIのいくつかの効率対策を比較する。
0.76
They focus on input or resource consumption measures: CO2eq emission, electricity usage, elapsed real time, number of parameters, and FPO (floating-point operations).
They suggest FPO as a concrete, reliable measure for climate-related efficiency that does not depend on the underlying hardware, local electricity infrastructure, or algorithmic details.
Additionally, they suggest measuring efficiency as a trade-off between performance and training set size to enable comparisons with small training budgets.
Henderson et al (2020) show that FPOs can be misleading: “while FPOs are useful for measuring relative ordering within architecture classes, they are not adequate on their own to measure energy or even runtime efficiency.”
Henderson et al (2020) は、FPOは誤解を招く可能性があることを示している:「FPOはアーキテクチャクラス内で相対的な順序を測定するのに有用であるが、エネルギーや実行時の効率を測定するのに十分ではない」。
0.69
They, therefore, recommend reporting various key figures, and they also provide a tool, experiment-impact-tr acker for reporting this information automatically.
3.1 Climate Performance Reporting The Greenhouse Gas Protocol9 is a widely used reporting framework for corporates.
3.1 温室効果ガスプロトコル9は、企業にとって広く使われている報告フレームワークである。
0.66
However, this standard does not foresee, so far, an explicit ICT (information and communications technology) component.
しかしながら、この標準は今のところ、明示的なICT(情報通信技術)コンポーネントを予見していない。
0.74
We build on the general principles of the GHG Protocol (relevance, completeness, consistency, transparency, and accuracy) to propose principles for improving climate-related performance reporting of AI.
We, therefore, replace the term GHG emissions with the term climate-related performance assessments.10
したがって、GHG排出量という用語を気候関連性能評価という用語に置き換える。
0.68
Relevance Ensure the climate-related performance assessment appropriately reflects the
気候関連パフォーマンスアセスメントが適切に反映されていることの妥当性
0.63
9https://ghgprotocol .org/ 10While the primary focus is about eventual GHG emissions in our case as well, by addressing climate-related performance, we shift the focus from their direct measurement to a more holistic viewpoint.
climate-related performance of training, evaluation and deployment, and serves the decisionmaking needs of users—both internal and external to the research group.
Completeness Account for and report on all relevant climate-related performance assessment items, using standardized model cards (see §4) to ensure accessibility to relevant information.
Disclose and justify any specific exclusions or missing information, and explain which data input would be required to provide it.
特定の除外や欠落した情報を開示し、正当化し、それを提供するのに必要なデータ入力を説明する。
0.62
State how you will deal with the missing information in the future to reduce information gaps.
情報ギャップを減らすために、将来行方不明の情報をどう扱うかを記述する。
0.71
Consistency Use consistent methodologies to make meaningful comparisons of reported emissions over time.
一貫性は、経時的に報告された排出量を有意義に比較するために一貫した方法論を使用する。
0.36
Transparently document any changes to the data, inventory boundary, methods, or other relevant factors in the time series.
データ、在庫境界、メソッド、その他の時系列上の関連する要素の変更を透過的に文書化する。
0.68
Use readily-available emission calculation tools to ease comparison with other models.
他のモデルとの比較を容易にするために、容易に利用できる発光計算ツールを使用する。
0.49
If you decide not to use available tools, explain why you deviate from available tools and report your assumptions about the energy mix, the conversion factors, and further assumptions required to calculate model-related emissions.
Transparency Address all relevant issues factually and coherently to allow reproducible measurement of climate-related performance by independent researchers.
Disclose any relevant assumptions and refer to the accounting and calculation methodologies and data sources used.
関連する仮定を開示し、使用する会計計算方法論およびデータソースを参照すること。
0.74
Accuracy of reporting Achieve sufficient accuracy of the quantification of climate-related performance to enable users to make decisions with reasonable assurance as to the integrity of the reported information.
Ensure that you report on the climate-related performance, even if you are in doubt about the accuracy.
たとえ正確性に疑念を抱いたとしても、気候に関するパフォーマンスについて報告すること。
0.70
If in doubt, state the level of confidence.
疑わしいならば、自信のレベルを述べてください。
0.70
3.2 Actions Towards Improvement Reporting climate-related performance is not a goal on its own.
3.2 改善に向けた行動 気候変動に関する業績報告は、それ自体が目標ではない。
0.67
Instead, it should be a means to raise
その代わり 資金調達の手段となるべきです
0.57
英語（論文から抽出）
日本語訳
スコア
awareness and translate it into actionable climaterelated performance improvements when training and deploying a model.
トレーニングやモデルのデプロイにおいて、それを行動可能な気候関連のパフォーマンス改善に変換します。
0.59
In addition, climate-aware model performance evaluations should ensure that downstream users of the technology can use the model in a climate-constrained future.
How to future-proof AI and NLP models should become an essential consideration in setting up any project.
将来的なAIとNLPモデルは、どんなプロジェクトもセットアップする上で重要な考慮事項となるはずだ。
0.63
The overall process of integrating these considerations would use enhanced transparency to unlock actionable awareness.
これらの考慮事項を統合する全体的なプロセスは、透明性を高め、行動可能な認識を解き放つ。
0.57
Reporting on climate-related model performance should put researchers in a position to reflect on their setup and take immediate action when training the next model.
To support this reflection for the researchers, the following proposes our climate performance model card.
このリフレクションを研究者に支援するために、下記の気候モデルカードを提案する。
0.75
4 Climate Performance Model Cards
4つの気候モデルカード
0.82
Since 2020, NeurIPS requires all research papers to submit broader impact statements (Castelvecchi et al , 2021; Gibney, 2020).
2020年以降、NeurIPSはより広範なインパクトステートメントを提出するためにすべての研究論文を要求する(Castelvecchi et al , 2021; Gibney, 2020)。
0.73
NLP conferences followed suit and introduced optional ethical and impact statements, starting with ACL in 2021.11 Leins et al (2020) discuss what an ethics assessment for ACL should look like but focus solely on political and societal issues.
NLP会議は、2021.11 Leins et al (2020) の ACL から始まり、ACL の倫理的評価がどう見えるべきかを議論するが、政治的・社会的問題のみに焦点を当てる。
0.71
Tucker et al (2020) analyze the implications of improved data efficiency in AI but only discuss the societal aspect of access in research and industry, leaving environmental issues unexplored.
Tucker et al (2020)は、AIにおけるデータ効率の改善の意味を分析するが、研究と産業におけるアクセスの社会的側面についてのみ論じ、環境問題は未解明のままである。 訳抜け防止モード: Tuckerら(2020)は、AIにおけるデータ効率の改善の意味を分析する 研究と産業へのアクセスの社会的側面についてのみ論じます 環境問題も未解決のままです
0.73
Mitchell et al (2019) introduced model cards to increase transparency about data use in AI, similarly due to societal issues.
mitchellら(2019)は、aiにおけるデータ利用に関する透明性を高めるためにモデルカードを導入した。 訳抜け防止モード: Mitchell et al (2019 ) がモデルカードを導入 AIにおけるデータ利用に関する透明性を高めるためです 同様に社会問題によるものです
0.77
We propose extending impact statements and model cards to include information about the climate-related performance of the development and training of the model, improvements compared to alternative solutions, measures undertaken to mitigate negative impact, and importantly, about the expected climate-related performance of reusing the model for research and deployment.
Our proposed model card also includes any positive impact on the environment.
提案するモデルカードは,環境に対するポジティブな影響も含んでいる。
0.73
A large direct negative impact does not rule out net positive impact due to contribution to downstream environmental efforts.
大きな直接的負の影響は、下流環境への貢献による純正の影響を排除しない。
0.78
While net impact cannot be measured objectively, since it depends on priorities and
純影響は客観的に測定することはできないが、優先順位や優先順位に依存するためである。
0.49
11See, e g , the ACL Rolling Review Responsible NLP Research checklist: https://aclrollingre view.o rg/responsibleNLPres earch/.
11See, e g, the ACL Rolling Review Responsible NLP Research checklist: https://aclrollingre view.o rg/responsibleNLPres earch/.
0.42
Minimum card Information 1. Is the resulting model publicly available?
最低カード 情報 1.結果モデルが一般公開されているか。
0.73
2. How much time does the training of the final model take?
2. 最終モデルのトレーニングに要する時間はどのくらいか?
0.79
3. How much time did all experiments take (incl. hyperparameter search)?
3.実験に要した時間(ハイパーパラメーターサーチを含む)は?
0.67
4. (GPU/CPU)?
4.(GPU/CPU)?
0.46
5. At which geo location were the computations performed?
5.どの位置で計算を行ったか。
0.69
the energy consumption What was
エネルギー消費は 何?
0.51
Extended card 6. What was the energy mix at the geo location?
拡張カード 6. 地理的位置でのエネルギー混合とは何か。
0.79
7. How much CO2eq was emitted to train the final model?
7. 最終モデルのトレーニングにCO2eqをどの程度使用したか?
0.71
8. How much CO2eq was emitted for all experiments?
8. すべての実験でどれだけのCO2eqが放出されたか。
0.61
9. What is the average CO2eq emission for the inference of one sample?
9. 1つのサンプルを推定するための平均co2eq排出量は?
0.78
10. Which positive environmental impact can be expected from this work?
10. この作業からどのような環境影響が期待できるのか。
0.82
11. Comments Unit Yes/No Time
11.コメント ユニットyes/no time
0.72
Time Watt Location
時間 ワット 所在地
0.43
gCO2eq/ kWh kg
gco2eq/kwhkg
0.57
kg kg Notes Notes
kg kg 備考 備考
0.61
Table 1: Proposed climate performance model card.
表1:気候モデルカードの提案。
0.68
projections on the future use of the technology, we can set a framework for discussing this complex issue, providing researchers with the best practices to inform future researchers and practitioners.
Table 1 shows our proposed sustainability model card, structured into a minimum card and an extended card.
表1は,提案するサステナビリティモデルカードを示し,最小カードと拡張カードに構成する。
0.79
The minimum card contains very basic information about the distribution of the model, its purpose for the community, and roughly the computational work that has been put into the optimization of the models.
The extended card then includes the energy mix to compute the CO2eq emissions.
拡張カードはCO2eq排出量を計算するためのエネルギー混合を含む。
0.73
In total, our sustainability model card contains eleven elements:
私たちのサステナビリティモデルカードには11の要素が含まれています。
0.49
1. Publicly available artefacts. In recent years, NLP researchers often make their final model available for the public.
1.一般公開品 近年、NLP研究者はしばしば最終モデルを一般向けに公開している。
0.60
This trend came up to increase transparency and reprehensibility, yet, at the same time, it avoids the necessity to train frequently used models multiple times across the community (Wolf et al , 2020).
この傾向は透明性と理解度を高めるために生まれたが、同時に、コミュニティ全体で頻繁に使用されるモデルをトレーニングする必要性を回避している(Wolf et al , 2020)。
0.76
Thus, by publishing model (weights), computational resources and thereby CO2eq emissions can be reduced.
これにより、モデル(重み付け)の公開により、計算資源とco2eq排出量を低減できる。
0.68
2. Duration—training of final model.
2. 期間 - 最終モデルの訓練。
0.72
This field denotes the time it took to train the final model (in minutes/hours/days/w eeks).
このフィールドは最終モデルの訓練に要する時間(数分/時間/日/週)を表す。
0.74
In
院
0.43
英語（論文から抽出）
日本語訳
スコア
case, there are multiple final models, this field asks for the training time of the model which has been trained the longest.
While determining the beginning of a project and deciding what counts as an experiment are in many cases difficult and subjective, we claim that an estimate of this quantity, along with a transparent confidence margin, is better than leaving it unreported.
For the sake of simplicity, we ask to specify the peak energy consumption of the hardware, for which the sum of the thermal design power (TDP) of the individual hardware components is a reasonable proxy.
The manufacturers provide this information e g on their website.12
メーカーは、この情報をウェブサイト.12で提供している。
0.64
We want to underline again, that this model card’s objective is not to have the most precise information but rather to have a rough estimate about the energy consumption.
5. Geographical location. The energy mix (the CO2eq emissions per watt consumed) depends on the geographical location.
5.地理的な位置。 エネルギー混合(ワット当たりのCO2eq排出量)は地理的な位置に依存する。
0.77
Thus, it is important to report where the model was trained.
したがって、モデルがトレーニングされた場所を報告することが重要です。
0.69
6. Energy mix at geographical location.
6. 地理的位置におけるエネルギー混合
0.88
To compute the exact CO2eq emissions, the energy mix at the geographical location is required.
正確なCO2eq排出量を計算するには、地理的位置でのエネルギー混合が必要である。
0.67
Organizations such as the International Energy Agency (IEA)13 report these numbers.
国際エネルギー機関 (IEA) 13 などの機関がこれらの数字を報告している。
0.68
12See, for instance, https://www.nvidia.c om/e n-us/data-center/a10 0/#specifications or https://ark.intel.co m/content/www/us/en/ ark.html.
例えば、https://www.nvidia.c om/e n-us/data-center/a10 0/# specifications or https://ark.intel.co m/content/www/us/en/ ark.html。
0.20
Alternatively, users can run nvidia-smi on the command line if using an NVIDIA GPU.
NVIDIA GPUを使用する場合は、コマンドラインでnvidia-smiを実行することもできる。
0.80
13See https://www.iea.org/ countries.
13 see https://www.iea.org/ countries.com/を参照。
0.30
7. CO2eq emissions of the final model.
7.最終モデルのCO2eq排出量
0.78
This field describes an estimation for the emitted CO2eq.
このフィールドは、放出されたCO2eqの推定を記述する。
0.60
Given the time for the computation (see item 3), the energy consumption and the energy mix, the total CO2eq emissions for the research can be calculated by
NLP technologies begin to mature to the point where they could have an even broader impact and support to address major problems such as climate change.
In this field, authors can state the expected positive impact resulting from their research.
この分野では、著者は彼らの研究による期待されたポジティブな影響を述べることができる。
0.60
In case that the underlying work is not likely to have a direct positive impact, authors can also categorize their work into “fundamental theories”, “building block tools”, “applicable tools”, or “deployed applications” (Jin et al , 2021), and discuss why their work could set the basis for future work with a positive environmental impact.
基礎となる作業が直接的なポジティブな影響を受けない場合、著者は、自分たちの作業を“基礎理論”、”ブロックツールの構築”、”適用可能なツール”、あるいは“デプロイされたアプリケーション”(Jin et al , 2021)に分類して、彼らの作業が将来の作業の基盤をポジティブな環境影響で設定できる理由について議論することができる。
0.73
11. Comments. The objective of this climate performance model card is to collect the most
11. コメント。 この気候性能モデルカードの目的は、最も多くを集めることである
0.78
英語（論文から抽出）
日本語訳
スコア
relevant information about the computational resources, energy consumed, and CO2eq emitted that were the result of the conducted research.
計算資源、消費エネルギー、CO2eqに関する関連する情報は、実施された研究の結果である。
0.76
Comments can include information about whether a number is likely over- or underestimated.
コメントには、数字が過大評価されているか過小評価されているかの情報が含まれる。
0.39
In addition, this field can be used to provide the reader with indications of possible improvements in terms of energy consumption and CO2eq emissions.
Henderson et al (2020) presented a Python package15 for consistent, easy, and more accurate reporting of energy, compute, and carbon impacts of ML systems by estimating them and generating standardized “Carbon Impact Statements.”
henderson et al (2020) は、mlシステムのエネルギー、計算、および炭素への影響を、一貫性があり、簡単で、より正確に報告するためのpythonパッケージ15を発表した。
0.58
Anthony et al (2020) proposed a Python package16 that also has predictive capabilities, and allows proactive and intervention-driven reduction of carbon emissions.
anthony et al (2020) は予測能力を持ち、炭素排出量の積極的なおよび介入による削減を可能にする python パッケージ16 を提案した。
0.67
Model training can be stopped, at the user’s discretion, if the predicted environmental cost is exceeded.
モデルトレーニングは、予測された環境コストが超過した場合、ユーザの判断で停止することができる。
0.81
Schmidt et al (2022) actively maintain a Python package17 that, besides estimating impact and generating reports, shows developers how they can lessen emissions by optimizing their code or by using cloud infrastructure in geographical regions with renewable energy sources.
5 Discussion AI and NLP research are behind in incorporating sustainability discourse in the discussion.
5 討論 AIとNLPの研究は、サステナビリティに関する議論を議論に取り入れている。
0.50
In the field of finance, an increasing amount of companies worldwide are soon required to state their environmental and broader sustainability-relat ed impacts and/or commitments in their annual reports, mostly following the recommendations laid out by
the Task Force on Climate-related Financial Disclosures (TCFD; Financial Stability Board, 2017).18
気候変動関連金融開示タスクフォース(TCFD、金融安定委員会、2017年)18
0.73
Responsibility and accountability. Of course, significant differences exist between annual reports and research papers: while companies are increasingly asked to take responsibility for their actions and are held accountable to their commitments by stakeholders, researchers can shake off responsibility by transferring it to practitioners who use the technology based on their research.
Researchers are thus never held responsible for committing to reducing negative environmental impact unless they choose to submit their work to specific workshops or conference tracks on sustainable and efficient NLP.
However, there are no best practices on what they can do to help those who are responsible for committing to sustainability—what information is necessary for accurate reporting and informed decision making?
This can take the form of explicitly introducing climate performance into the objective function for optimization (Puvis de Cha-
これは、気候性能を最適化の目的関数に明示的に導入する形態をとることができる(Puvis de Cha-)。
0.68
18For instance, in the United Kingdom a new legislation will require firms to disclose climate-related financial information, with rules set to come into force from April 2022.
Future Table 2: Extended model performance evaluation.
未来 表2: モデルの性能評価の拡張。
0.80
vannes et al , 2021) and in benchmarking (Ma et al , 2021).
vannes et al , 2021) と in benchmarking (ma et al , 2021) である。
0.82
Positive impact. NLP is relevant in several aspects to the UN sustainable development goals (Vinuesa et al , 2020; Conforti et al , 2020).
ポジティブな影響。 NLPは国連の持続可能な開発目標(Vinuesa et al , 2020; Conforti et al , 2020)にいくつかの点で関係している。
0.74
Jin et al (2021) defined a framework for the social impacts of NLP, of which environmental impacts are a special case.
Jin et al (2021) は NLP の社会的影響の枠組みを定義した。 訳抜け防止モード: jin et al (2021) は nlp の社会的影響の枠組みを定義した。 環境への影響は特別な場合です
0.74
They define an impact stack consisting of four stages, from (1) fundamental theory to (2) building block tools and (3) applicable tools, and finally to (4) deployed applications.
Furthermore, they identify questions related to sustainable development goals for which NLP is relevant.
さらに、NLPが関係する持続可能な開発目標に関する疑問も特定する。
0.63
They categorize Green NLP as relevant only to the particular goal of “mitigating problems brought by NLP,” by minimizing direct impact as part of technology development.
However, we claim that Green NLP must be viewed more broadly.
しかし、グリーンNLPはより広い視野で見なければならない。
0.72
For example, Rolnick et al (2019) discuss how machine learning can be used to tackle climate change, listing several fields with identified potential.
例えば、rolnick et al (2019)は、気候変動に取り組むために機械学習をどのように利用できるかについて議論し、特定された可能性を持ついくつかの分野をリストアップした。 訳抜け防止モード: 例えば、rolnick et al (2019)はどのようにして 機械学習は気候変動に取り組むのに使える。 特定可能ないくつかの分野をリストアップする。
0.65
For NLP, they mention the impact on the future of cities, on crisis management, individual action (understanding personal footprints, facilitating behavior change), informing policy for collective decision-making, education, and finance.
Stede and Patz (2021) note that the topic of climate change has received little attention in the NLP community and propose applying NLP to analyze the climate change discourse, predict its evolution and respond accordingly.
Stede and Patz (2021) は、気候変動の話題はNLPコミュニティではほとんど注目されておらず、気候変動の議論を分析し、その進化を予測し、それに応じて応答するためにNLPを適用することを提案している。
0.65
The ACL workshop on NLP for Positive Impact (Field et al , 2021) is a relevant focused venue for publishing such research.
acl workshop on nlp for positive impact (field et al, 2021) は、このような研究を出版するための関連施設である。
0.79
6 Impact and Limitations As pointed out by Schwartz et al (2020), a comparison between research and researchers from various locations and with various prerequisites can be difficult.
6 影響と限界 schwartz et al (2020) が指摘したように、様々な場所と様々な前提条件からの研究と研究者の比較は困難である。
0.51
Therefore, we want to point out rules of
ですから ルールを指摘しておきたいのです
0.72
thumb that, in our opinion, should be followed by the authors of papers, as well as from reviewers who assess the quality thereof.
私たちの意見では、論文の著者や、その品質を評価するレビュアーがそれに従うべきだということです。
0.65
Do increase transparency. With our climate performance model card, we aim to provide guidelines that give concrete ideas on how to report energy consumption and CO2eq emissions.
Our model card, on purpose, still allows for flexibility so that authors can change it to their respective setup.
私たちのモデルカードは、意図的にも柔軟性があり、作者がそれぞれの設定に変更できるようにしています。
0.61
In case of high CPU usage, the authors can simplify their energy consumption by only looking at the CPU energy consumption; in the case of the GPU, it can simply be based on the GPU.
Our main goal is transparency for users and increased awareness for modelers and researchers.
私たちの主な目標は、ユーザに対する透明性と、モデラーや研究者に対する認識の向上です。
0.56
Hence, transparency is to be weighted over accuracy.
したがって、透明性は正確さよりも重み付けされる。
0.69
Do use the model cards to enable research institutions and practitioners to report on their climate performance and GHG emissions.
モデルカードを使用して、研究機関や実践者が気候性能や温室効果ガス排出量を報告できるようにする。
0.64
An increasing number of first-moving research labs and institutes have started to account for their GHG emissions from direct energy use and flying, and intend to include their ICT emissions (e g , ETH Zurich, 2021; UZH Zurich, 2021).
However, considering the energy efficiency of model performance might indirectly reduce a Global North–South bias, given that access to computational power is not evenly distributed across the World.
Hence, targeting energy efficiency and reducing the computational power required to train and run models might mitigate some concerns on the inequality of research opportunities.
Do not report your voluntary financial climate protection contributions as emission offsetting.
自発的な金融環境保護への貢献を排出オフセットとして報告しないでください。
0.55
While emission offsetting used to be hailed as an efficient way to reduce global greenhouse gas emissions, this notion had to be revised with updated climate science consensus, at the latest with
the IPCC’s Special Report on Global Warming of 1.5C from 2018 (Masson-Delmotte et al , 2018).
IPCCの2018年の国際温暖化に関する特別報告書(Masson-Delmotte et al , 2018)。
0.78
Related to this aspect, do not communicate relative (efficiency-related) improvements as absolute climate-related performance improvements.
これに関連して、絶対的な気候関連性能改善として相対的な(効率関連)改善を伝達しない。
0.64
Do not use this model card to assess net climaterelated impacts.
このモデルカードは、気候への影響を評価するのに使用しないでください。
0.57
AI as an enabler for higher-order effects, for example, for climate-neutral economies and societies, is an important topic, which is, however, not in our scope.
Instead, our approach aims to increase transparency about every model’s first order effects, be the model designed for societal change (or any other higher-order effect) or not.
7 Conclusion We argued that branding efficient methods in NLP as green or sustainable is insufficient and that due to the importance of the issue, climate awareness must be promoted in mainstream NLP rather than only in niche areas.
We conducted a survey of climate discussion in NLP papers and found that climate-related issues are increasingly being discussed but are still uncommon.
We proposed actionable measures to increase climate awareness based on experience from the finance domain and finally proposed a model card focusing on reporting climate performance transparently, which we encourage NLP researchers to use in any paper.
Indeed, specific recommendations have been made for machine learning (Henderson et al , 2020; Patterson et al , 2022) and medical image analysis (Selvan et al , 2022), for example.
実際、機械学習(henderson et al , 2020; patterson et al , 2022)や医療画像解析(selvan et al , 2022)については、特定の推奨がなされている。
0.76
However, our focus on NLP enabled us to be more specific about relevant modeling components in our model card, as they are commonly used in NLP work.
Furthermore, framing our arguments within the discourse initiated in the NLP community allowed us to address the specific points raised in this discussion so far.
ICML Workshop on Challenges in Deploying and monitoring Machine Learning Systems.
icml workshop on challenges in deploy and monitoring machine learning systems (英語)
0.38
ArXiv:2007.03051.
2007.03051。
0.21
Emily M Bender, Timnit Gebru, Angelina McMillanMajor, and Shmargaret Shmitchell.
Emily M Bender、Timnit Gebru、Angelina McMillanMajor、Shmargaret Shmitchell。
0.70
2021. On the dangers of stochastic parrots: Can language models be too big?
2021. 上に 確率的なオウムの危険性: 言語モデルは大きすぎるか?
0.61
In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pages 610–623.
2021年 ACM Conference on Fairness, Accountability, and Transparency, page 610–623 に参加。
0.79
Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George van den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, Diego de Las Casas, Aurelia Guy, Jacob Menick, Roman Ring, Tom Hennigan, Saffron Huang, Loren Maggiore, Chris Jones, Albin Cassirer, Andy Brock, Michela Paganini, Geoffrey Irving, Oriol Vinyals, Simon Osindero, Karen Simonyan, Jack W. Rae, Erich Elsen, and Laurent Sifre.
セバスチャン・ボルゲオード、アーサー・メンシュ、ヨルダン・ホフマン、トレバー・ケイ、エリザ・ラザフォード、ケイティ・ミリカン、ジョージ・ヴァン・デン・ドリーチェ、ジャン=バティスト・レスピアウ、ボグダン・ダモック、エイダン・クラーク、ディエゴ・デ・ラス・カサス、アウレリア・ガイ、ジェイコブ・メニック、ロマン・リング、トム・ヘニガン、サフラン・ハング、ローレン・マグジオア、クリス・ジョーンズ、アルビン・キャシラー、アンディ・ブロック、ミケラ・パガニーニ、ジェフリー・アーヴィング、オリオール・ヴィニアルス、サイモン・オシンデノヤン、ジャック・W・レイ、エリヒ・エルセン、ローレン・シフレ。 訳抜け防止モード: セバスチャン・ボルゴー、アーサー・メンシュ、ジョーダン・ホフマン、トレヴァー・カイ、エリザ・ラザフォード katie millican, george van den driessche, jean - baptiste lespiau, bogdan damoc エイダン・クラーク、ディエゴ・デ・ラス・カサス、アウレリア・ガイ、ジェイコブ・メニック、ローマ・リング。 トム・ヘンニガン、サフラン・ファン、ローレン・マグジョア、クリス・ジョーンズ アルビン・カシラー、アンディ・ブロック、ミケーラ・パガニーニ、ジェフリー・アーヴィング oriol vinyals, simon osindero, karen simonyan, jack w. rae, erich elsenとlaurent sifre。
0.61
2022. Improving language models by retrieving from trillions of tokens.
2022. 数兆のトークンから検索することで言語モデルを改善する。
0.53
Matthew Brander and G Davis.
マシュー・ブランダーとg・デイビス
0.59
2012. Greenhouse gases, CO2, CO2e, and carbon: What do all these terms mean.
2012. 温室効果ガス、二酸化炭素、二酸化炭素、二酸化炭素。
0.49
Econometrica, White Papers.
ホワイトペーパー、ホワイトペーパー。
0.64
Davide Castelvecchi et al 2021.
ダビデ・カメルヴェッチら 2021年。
0.69
Prestigious AI meeting takes steps to improve ethics of research.
事前のAIミーティングは、研究の倫理を改善するためのステップを取ります。
0.52
Nature, 589(7840):12–13.
自然数 589(7840):12-13。
0.64
Costanza Conforti, Stephanie Hirmer, Dai Morgan, Marco Basaldella, and Yau Ben Or.
Costanza Conforti, Stephanie Hirmer, Dai Morgan, Marco Basaldella, Yau Ben Or
0.35
2020. Natural language processing for achieving sustainable development: the case of neural labelling to enhance community profiling.
Association for Computational Linguistics. Sebastião Vieira de Freitas Netto, Marcos Felipe Falcão Sobral, Ana Regina Bezerra Ribeiro, and Gleibson Robert da Luz Soares.
計算言語学会会員。 セバスティアン・ビエイラ・デ・フレイタス・ネット、マルコス・フェリペ・ファルカン・ソブラル、アナ・レジーナ・ベゼルラ・リベイロ、グライブソン・ロベルト・ダ・ルズ・ソアレス。 訳抜け防止モード: 計算言語学会会員。 セバスティアン・ビエイラ・デ・フレイタス・ネット、マルコス・フェリペ・ファルカン・ソブラル、アナ・レジーナ・ベゼルラ・リベイロ そしてGleibson Robert da Luz Soares。
0.53
2020. Concepts and forms of greenwashing: A systematic review.
2020. グリーンウォッシングの概念と形態:体系的なレビュー。
0.61
Environmental Sciences Europe, 32(1):1–12.
欧州環境科学会、32:1-12。
0.76
Magali A Delmas and Vanessa Cuerel Burbano.
Magali A Delmas と Vanessa Cuerel Burbano の略。
0.85
2011. The drivers of greenwashing.
2011. グリーンウォッシングのドライバー。
0.48
California management review, 54(1):64–87.
カリフォルニア・マネジメント・レビュー 54(1):64-87。
0.69
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
0.38
2019. BERT: Pre-training of deep bidirectional transformers for language underIn Proceedings of the 2019 Conference standing.
2019. BERT: 2019年開催のProceedings of the 2019 Conferenceにおいて、言語の下での双方向トランスフォーマーの事前トレーニング。
0.50
of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186, Minneapolis, Minnesota.
The North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 4171–4186, Minneapolis, Minnesota. 訳抜け防止モード: 計算言語学会北米支部の紹介 : 人間言語技術 第1巻(長編・短編)、4171-4186頁、ミネソタ州ミネアポリス。
0.56
Association for Computational Linguistics. ETH Zurich.
計算言語学会会員。 チューリッヒ出身。
0.49
2021. ETH Zurich Sustainability Report
2021. ETH Zurich Sustainability Report
0.43
2019/2020.
2019/2020.
0.35
Technical report, ETH Zurich.
ETH チューリッヒ (ETH Zurich) の略。
0.57
European Systemic Risk Board.
欧州システムリスク委員会(European Systemic Risk Board)の略。
0.39
2016. Too late, too sudden : transition to a low-carbon economy and systemic risk.
2016. あまりに遅すぎる、急すぎる:低炭素経済への移行とシステムリスク。
0.59
European Systemic Risk Board.
欧州システムリスク委員会(European Systemic Risk Board)の略。
0.39
William Fedus, Barret Zoph, and Noam Shazeer.
ウィリアム・フェウス、バレット・ゾフ、ノーム・シェーザー。
0.51
2021. Switch transformers: Scaling to trillion parameter arXiv models with simple and efficient sparsity.
2021. スイッチ変換器: 単純で効率的な間隔で1兆のパラメータarXivモデルにスケールする。
0.51
preprint arXiv:2101.03961.
arXiv:2101.03961
0.29
英語（論文から抽出）
日本語訳
スコア
Anjalie Field, Shrimai Prabhumoye, Maarten Sap, Zhijing Jin, Jieyu Zhao, and Chris Brockett, editors.
Information Processing Systems, volume 34, pages 10351–10367.
情報処理システム、34頁、10351-10367頁。
0.76
Curran Associates, Inc.
Curran Associates, Inc.
0.42
Valérie Masson-Delmotte, Panmao Zhai, Hans-Otto Pörtner, Debra Roberts, Jim Skea, Priyadarshi R Shukla, Anna Pirani, W Moufouma-Okia, C Péan, R Pidcock, et al 2018.
Valérie Masson-Delmotte, Panmao Zhai, Hans-Otto Pörtner, Debra Roberts, Jim Skea, Priyadarshi R Shukla, Anna Pirani, W Moufouma-Okia, C Péan, R Pidcock, et al 2018 訳抜け防止モード: valérie masson - delmotte, panmao zhai, hans - オットー・フェルトナー デブラ・ロバーツ、ジム・スキア、プリヤダルシ・ル・シュクラ、アンナ・ピラニ w moufouma - okia, c péan, r pidcock, et al 2018を参照。
0.66
Global warming of 1.5 c. An IPCC Special Report on the impacts of global warming of, 1(5).
温暖化は1.5c。 地球温暖化の影響に関するIPCC特別報告 1(5)
0.64
Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, and Timnit Gebru.
Margaret Mitchell, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, Timnit Gebru 訳抜け防止モード: マーガレット・ミッチェル、シモーヌ・ウー、アンドリュー・ザーディヴァール、パーカー・バーンズ。 Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji そしてTimnit Gebru。
0.71
2019. Model cards for model reporting.
2019. モデルレポート用のモデルカード。
0.63
In Proceedings of the Conference on Fairness, Accountability, and Transparency, FAT* ’19, page 220–229, New York, NY, USA.
公正、説明責任、透明性に関する会議の議事録では、fat* ’19, page 220-229, new york, ny, usa. と書かれている。 訳抜け防止モード: 公正・説明責任・透明性に関する会議」の開催にあたって FAT * ’ 19 page 220–229, New York, NY,USA.
0.84
Association for Computing Machinery.
アソシエーション・フォー・コンピューティング・マシンズ(Association for Computing Machinery)の略。
0.36
Jerry Patchell. 2018.
ジェリー・パッチル 2018.
0.48
Can the implications of the ghg protocol’s scope 3 standard be realized?
ghgプロトコルのスコープ3の標準は、どのような意味を持つのか?
0.68
Journal of Cleaner Production, 185:941–958.
雑誌『journal of cleaner production』、185:941-958頁。
0.41
David Patterson,
デイヴィッド・パターソン。
0.58
Joseph Gonzalez, Urs Hölzle, Quoc Hung Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, and Jeffrey Dean.
Joseph Gonzalez, Urs Hölzle, Quoc Hung Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, Jeffrey Dean 訳抜け防止モード: Joseph Gonzalez, Urs Hölzle, Quoc Hung Le, Chen Liang Lluis - Miquel Munguia, Daniel Rothchild, David So, Maud Texier ジェフリー・ディーン(Jeffrey Dean)。
0.87
2022. The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink.
2022. 機械学習トレーニングのカーボンフットプリントは、高まり、縮小する。
0.52
Lucas Høyberg Puvis de Chavannes, Mads Guldborg Kjeldgaard Kongsbak, Timmie Rantzau, and Leon Derczynski.
ルーカス・høyberg puvis de chavannes、mads guldborg kjeldgaard kongsbak、timmie rantzau、leon derczynski。
0.58
2021. Hyperparameter power impact in transformer language model training.
2021. トランスフォーマー言語モデルトレーニングにおけるハイパーパラメータパワーへの影響
0.59
In Proceedings of the Second Workshop on Simple and Efficient Natural Language Processing, pages 96–118, Virtual.
Association for Computational Linguistics. David Rolnick, Priya L. Donti, Lynn H. Kaack, Kelly Kochanski, Alexandre Lacoste, Kris Sankaran, Andrew Slavin Ross, Nikola Milojevic-Dupont, Natasha Jaques, Anna Waldman-Brown, Alexandra Luccioni, Tegan Maharaj, Evan D. Sherwin, S. Karthik Mukkavilli, Konrad P. Kording, Carla Gomes, Andrew Y. Ng, Demis Hassabis, John C. Platt, Felix Creutzig, Jennifer Chayes, and Yoshua Bengio.
計算言語学会会員。 David Rolnick, Priya L. Donti, Lynn H. Kaack, Kelly Kochanski, Alexandre La Coste, Kris Sankaran, Andrew Slavin Ross, Nikola Milojevic-Dupont, Natasha Jaques, Anna Waldman-Brown, Alexandra Luccioni, Tegan Maharaj, Evan D. Sherwin, S. Karthik Mukkavilli, Konrad P. Kording, Carla Gomes, Andrew Y. Ng, Demis Hassabis, John C. Platt, Felix Creutzig, Jennifer Chayes, Yoshua Bengio 訳抜け防止モード: 計算言語学会会員。 david rolnick, priya l. donti, lynn h. kaack, kelly kochanski アレクサンドル・ラコステ(alexandre lacoste)、クリス・サンカラン(kris sankaran)、アンドリュー・スラヴィン・ロス(andrew slavin ross)、ニコラ・ミロイェヴィッチ(nikola milojevic)、デュポン(dupont)。 natasha jaques, anna waldman - brown, alexandra luccioni, tegan maharaj, evan d. sherwin, s. karthik mukkavilli, konrad p. kording, carla gomes, andrew y. ng, demis hassabis氏、john c. platt氏、felix creutzig氏、jennifer chayes氏。 そしてヨシュア・ベンジオ
0.55
2019. Tackling climate change with machine learning.
2019. 機械学習で気候変動に取り組む。
0.59
Victor Schmidt, Goyal-Kamal, Benoit Courty, Boris Feld, SabAmine, Franklin Zhao, Aditya Joshi, Sasha Luccioni, Mathilde Léval, Alexis Bogroff, Niko Laskaris, LiamConnell, Ziyao Wang, Armin Catovic, Douglas Blank, Michał St˛echły, alencon, Amine Saboni, JPW, MinervaBooks, Hugues de Lavoreille, Connor McCarthy, Jake Tae, Sébastien Tourbier, and kraktus.
Victor Schmidt, Goyal-Kamal, Benoit Courty, Boris Feld, Sabamine, Franklin Zhao, Aditya Joshi, Sasha Luccioni, Mathilde Léval, Alexis Bogroff, Niko Laskaris, LiamConnell, Ziyao Wang, Armin Catovic, Douglas Blank, Michał St sechły, alencon, Amine Saboni, JPW, MinervaBooks, Hugues de Lavoreille, Connor McCarthy, Jake Tae, Sébastien Tourbier, kraktus 訳抜け防止モード: Victor Schmidt, Goyal - Kamal, Benoit Courty, Boris Feld Sabamine, Franklin Zhao, Aditya Joshi, Sasha Luccioni, Mathilde Léval, Alexis Bogroff, Niko Laskaris LiamConnell, Ziyao Wang, Armin Catovic, Douglas Blank, Michał St sechły alencon, Amine Saboni, JPW, MinervaBooks, Hugues de Lavoreille コナー・マッカーシー、ジェイク・テー、セバスチャン・トゥルビエ、クラクタス。
0.79
2022. mlco2/codecarbon: v2.0.0a3.
2022. mlco2/codecarbon: v2.0.0a3。
0.31
Zhiyi Ma, Kawin Ethayarajh, Tristan Thrush, Somya Jain, Ledell Wu, Robin Jia, Christopher Potts, Adina Williams, and Douwe Kiela.
image analysis. Jaime Sevilla, Lennart Heim, Anson Ho, Tamay Besiroglu, Marius Hobbhahn, and Pablo Villalobos.
画像解析。 Jaime Sevilla, Lennart Heim, Anson Ho, Tamay Besiroglu, Marius Hobbhahn, Pablo Villalobos。
0.55
2022. Compute trends across three eras of machine learning.
2022. 機械学習の3つの時代の計算トレンド。
0.60
David R. So, Wojciech Ma´nke, Hanxiao Liu, Zihang Dai, Noam Shazeer, and Quoc V. Le.
David R. So, Wojciech Ma ́nke, Hanxiao Liu, Zihang Dai, Noam Shazeer, Quoc V. Le
0.44
2022. Primer: Searching for efficient transformers for language modeling.
2022. Primer: 言語モデリングのための効率的なトランスフォーマーを探す。
0.56
Manfred Stede and Ronny Patz.
マンフレッド・スティードとロニー・パッツ。
0.50
2021. The climate change debate and natural language processing.
2021. 気候変動に関する議論と自然言語処理。
0.61
In Proceedings of the 1st Workshop on NLP for Positive Impact, pages 8–18, Online.
In Proceedings of the 1st Workshop on NLP for Positive Impact, page 8–18, Online.
0.49
Association for Computational Linguistics. Emma Strubell, Ananya Ganesh, and Andrew McCallum.
計算言語学会会員。 エマ・ストルベル、アナニア・ガネッシュ、アンドリュー・マケラム。
0.47
2019. Energy and policy considerations for In Proceedings of the 57th deep learning in NLP.
2019. NLPにおける第57回深層学習の成果に関するエネルギー・政策考察
0.63
Annual Meeting of the Association for Computational Linguistics, pages 3645–3650, Florence, Italy.
イタリア・フィレンツェの計算言語学会年次大会3645-3650頁。
0.48
Association for Computational Linguistics. TerraChoice.
計算言語学会会員。 TerraChoice
0.39
2010. The sins of greenwashing: home
2010. 緑洗いの罪-家
0.54
and family edition.
ファミリー版もある。
0.54
Underwriters Laboratories. Aaron D Tucker, Markus Anderljung, and Allan Dafoe.
研究所長。 アーロン・d・タッカー、マーカス・アンデルジョン、アラン・ダフォー。
0.49
2020. Social and governance implications of imthe proved data efficiency.
2020. 社会的および統治的意味は、実証されたデータ効率を意味する。
0.42
AAAI/ACM Conference on AI, Ethics, and Society, pages 378–384.
AAAI/ACM Conference on AI, Ethics, and Society, page 378–384。
0.42
In Proceedings of UZH Zurich.
訴訟の手続において チューリッヒ出身。
0.43
2021. UZH Zurich Sustainability Report
2021. ウズベキスタン・チューリッヒ持続可能性レポート
0.43
2019/2020.
2019/2020.
0.35
Technical report, UZH Zurich.
技術報告 ウズー・チューリッヒ
0.55
Ricardo Vinuesa, Hossein Azizpour, Iolanda Leite, Madeline Balaam, Virginia Dignum, Sami Domisch, Anna Felländer, Simone Daniela Langhans, Max Tegmark, and Francesco Fuso Nerini.
Ricardo Vinuesa, Hossein Azizpour, Iolanda Leite, Madeline Balaam, Virginia Dignum, Sami Domisch, Anna Felländer, Simone Daniela Langhans, Max Tegmark, Francesco Fuso Nerini 訳抜け防止モード: Ricardo Vinuesa, Hossein Azizpour, Iolanda Leite, Madeline Balaam Virginia Dignum, Sami Domisch, Anna Felländer, Simone Daniela Langhans マックス・テグマルク(Max Tegmark)とフランチェスコ・フソ・ネリーニ(Francesco Fuso Nerini)。
0.88
2020. The role of artificial intelligence in achieving the sustainable development goals.
2020. 持続可能な開発目標達成における人工知能の役割。
0.61
Nature communications, 11(1):1–10.
自然通信 11(1):1-10。
0.81
Nicolas Webersinke, Mathias Kraus, Julia Anna Bingler, and Markus Leippold.
2021. ClimateBert: A pretrained language model for climate-related text.
2021. ClimateBert: 気候関連のテキストのための事前訓練された言語モデル。
0.53
arXiv preprint arXiv:2110.12010.
arXiv preprint arXiv:2110.12010
0.35
Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush.
Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, Alexander Rush 訳抜け防止モード: トーマス・ウルフ、lysandre、victor sanh、julien chaumond。 clement delangue, anthony moi, pierric cistac, tim rault, remi louf, モーガン・ファントウィッツ ジョー・デイヴィソン サム・シュライファー パトリック・フォン・プラトン clara ma, yacine jernite, julien plu, canwen xu, teven le scao, sylvain gugger, mariama drame, quentin lhoestなど。 アレキサンダー・ラッシュ
0.57
2020. Transformers: State-of-the-art natural language processing.
2020. Transformers: 最先端の自然言語処理。
0.61
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 38–45, Online.
Thus, the number of weights after block-pruning is decreased considerably which, in turn, decreases the CO2eq emissions.
これにより、ブロック切断後の重量が大幅に減少し、CO2eq排出量が減少する。
0.73
Very likely, this method would show the same effect on the proposed ClimateBert model.
この手法は、提案された気候モデルに同じ効果を示す可能性が高い。
0.79
B Development of NLP models over time Figure 3 shows the computational power that was put into the development of the major NLP models (Sevilla et al , 2022).
B 時間経過に伴うNLPモデルの開発 図3は、主要なNLPモデルの開発に投入された計算能力を示している(Sevilla et al , 2022)。
0.88
With few exceptions, the training compute for NLP models has steadily increased over the past decade.
わずかな例外を除いて、NLPモデルのトレーニング計算は過去10年間で着実に増加している。
0.70
Although progress has also been made in terms of more energy efficient hardware (e g , 19.5 GFLOPS/watt in a 2013 GTX Titan to 168.3 GFLOPs/watt in a 2021 RTX A6000), the increase in terms of required FLOPs is substantially larger.
Exemplary, going from GPT (in 2018) to GPT-3 175B (in 2020), the training compute increase from 1.1E19 to 3.14E23 FLOPs — an increase by a factor larger than 25,000.
Requirements for Companies Whilst the GHG Protocol does not provide an ICT sector tool, it provides emission factors by fuel source to calculate GHG emissions based on the energy consumption.
Figure 3: Development of floating point operations required to train NLP models.
図3: NLPモデルのトレーニングに必要な浮動小数点演算の開発。
0.82
Note the log-scale.
ログスケールに注意してください。
0.47
the scientific climate consensus, based on the report of the Intergovernmental Panel on Climate Changes’ latest Assessment Report (for now the IPCC’s AR5, AR6 will be released soon)19.
• INFORMATION ON EMISSIONS – Total scope 1 and 2 emissions independent of any GHG trades such as sales, purchases, transfers, or banking of allowances.
– Information on the quality of the inventory (e g , information on the causes and magnitude of uncertainties in emission estimates) and an outline of policies in place to improve inventory quality.