論文の概要: Fine-tuning ClimateBert transformer with ClimaText for the disclosure
analysis of climate-related financial risks
- arxiv url: http://arxiv.org/abs/2303.13373v1
- Date: Tue, 21 Mar 2023 07:25:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 13:41:56.502343
- Title: Fine-tuning ClimateBert transformer with ClimaText for the disclosure
analysis of climate-related financial risks
- Title（参考訳）: 気候関連金融リスクの開示分析のためのclimatextを用いた微調整気候ベルト変圧器
- Authors: Eduardo C. Garrido-Merch\'an, Cristina Gonz\'alez-Barthe, Mar\'ia
Coronado Vaca
- Abstract要約: 本稿では,テキストコーパスの気候変動検出に最先端のNLP技術を適用した。
転送学習を用いて、BERTとClimateBertの2つのトランスフォーマーモデルを微調整する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years there has been a growing demand from financial agents,
especially from particular and institutional investors, for companies to report
on climate-related financial risks. A vast amount of information, in text
format, can be expected to be disclosed in the short term by firms in order to
identify these types of risks in their financial and non financial reports,
particularly in response to the growing regulation that is being passed on the
matter. To this end, this paper applies state-of-the-art NLP techniques to
achieve the detection of climate change in text corpora. We use transfer
learning to fine-tune two transformer models, BERT and ClimateBert -a recently
published DistillRoBERTa-based model that has been specifically tailored for
climate text classification-. These two algorithms are based on the transformer
architecture which enables learning the contextual relationships between words
in a text. We carry out the fine-tuning process of both models on the novel
Clima-Text database, consisting of data collected from Wikipedia, 10K Files
Reports and web-based claims. Our text classification model obtained from the
ClimateBert fine-tuning process on ClimaText, outperforms the models created
with BERT and the current state-of-the-art transformer in this particular
problem. Our study is the first one to implement on the ClimaText database the
recently published ClimateBert algorithm. Based on our results, it can be said
that ClimateBert fine-tuned on ClimaText is an outstanding tool within the NLP
pre-trained transformer models that may and should be used by investors,
institutional agents and companies themselves to monitor the disclosure of
climate risk in financial reports. In addition, our transfer learning
methodology is cheap in computational terms, thus allowing any organization to
perform it.
- Abstract（参考訳）: 近年は、特に特定の投資家や機関投資家から、企業が気候関連金融リスクを報告するための金融業者からの需要が高まっている。
テキスト形式では、金融・非財務報告におけるこのようなリスクの特定、特に法制化の進展に対応するため、企業による短期的な開示が期待できる。
そこで本研究では,テキストコーパスの気候変動検出に最先端のNLP技術を適用した。
最近発表されたDistillRoBERTaベースのモデルであるBERTとClimateBertは、特に気候テキストの分類に適したものだ。
これら2つのアルゴリズムは、テキスト中の単語間の文脈関係を学習できるトランスフォーマーアーキテクチャに基づいている。
我々は,wikipedia から収集したデータ,10k ファイルのレポート,web ベースのクレームからなる,新しい clima-text データベース上で両モデルの微調整処理を行う。
ClimaText上でのClimateBertの微調整プロセスから得られたテキスト分類モデルは、BERTと現在の最先端変換器で作成されたモデルよりも優れている。
本研究では,最近公開されたclimatebertアルゴリズムであるclimatextデータベースを初めて実装した。
以上の結果から,クライマテキストを微調整したClimateBertは,NLP事前学習トランスフォーマーモデルの優れたツールであり,投資家や機関エージェント,企業自身が,財務報告における気候リスクの開示を監視すべきであるといえる。
さらに、我々の転送学習手法は、計算用語では安価であり、あらゆる組織がそれを実行することができる。
関連論文リスト
- ClimaQA: An Automated Evaluation Framework for Climate Foundation Models [38.05357439484919]
気候学者と大学院の教科書から質問応答ペアを生成する自動化フレームワークであるClimaGenを開発した。
気候科学のための大規模で総合的な総合的なQAデータセットであるClimaQA-Silverとともに、専門家による注釈付きベンチマークデータセットであるClimaQA-Goldを提示する。
論文 参考訳（メタデータ） (2024-10-22T05:12:19Z) - Machine Learning for Methane Detection and Quantification from Space -- A survey [49.7996292123687]
メタン (CH_4) は強力な温室効果ガスであり、20年間で二酸化炭素 (CO_2) の86倍の温暖化に寄与する。
この研究は、ショートウェーブ赤外線(SWIR)帯域におけるメタン点源検出センサの既存の情報を拡張する。
従来の機械学習(ML)アプローチと同様に、最先端の技術をレビューする。
論文 参考訳（メタデータ） (2024-08-27T15:03:20Z) - Comparing Data-Driven and Mechanistic Models for Predicting Phenology in
Deciduous Broadleaf Forests [47.285748922842444]
我々は、気象時系列から表現指標を予測するために、ディープニューラルネットワークを訓練する。
このアプローチは従来のプロセスベースのモデルよりも優れています。
論文 参考訳（メタデータ） (2024-01-08T15:29:23Z) - Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored
Arabic LLM [77.17254959695218]
ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。
我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。
本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
論文 参考訳（メタデータ） (2023-12-14T22:04:07Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳（メタデータ） (2023-01-24T23:19:01Z) - Towards Answering Climate Questionnaires from Unstructured Climate
Reports [26.036105166376284]
活動家や政策立案者は、巨大で急速に成長する非構造的気候レポートを構造化形式に処理するためにNLPツールを必要としている。
2つの大規模気候調査データセットを導入し、既存の構造を用いて自己教師型モデルを訓練する。
次に、これらのモデルを用いて、人間のパイロット実験において、構造化されていない気候文書からのテキストと半構造化されたアンケートとの整合を支援する。
論文 参考訳（メタデータ） (2023-01-11T00:22:56Z) - Multi-scale Digital Twin: Developing a fast and physics-informed
surrogate model for groundwater contamination with uncertain climate models [53.44486283038738]
気候変動は地下水汚染の長期的な土壌管理問題を悪化させる。
U-Net強化フーリエニューラル汚染(PDENO)を用いた物理インフォームド機械学習サロゲートモデルを開発した。
並行して、気候データと組み合わされた畳み込みオートエンコーダを開発し、アメリカ合衆国全体の気候領域の類似性の次元を減少させる。
論文 参考訳（メタデータ） (2022-11-20T06:46:35Z) - Climate-Invariant Machine Learning [0.8831201550856289]
現在の気候モデルは、モデルグリッドサイズよりも小さなスケールで発生するプロセスの表現を必要とする。
最近の機械学習(ML)アルゴリズムは、そのようなプロセス表現を改善することを約束するが、訓練されていない気候体制に悪影響を及ぼす傾向がある。
我々は、気候プロセスの知識をMLアルゴリズムに取り入れた「気候不変」MLと呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-14T07:02:57Z) - CLIMATE-FEVER: A Dataset for Verification of Real-World Climate Claims [4.574830585715129]
気候変動関連クレームを検証するための新しいデータセットであるCLIMATE-FEVERを紹介する。
人工的に設計されたクレームの最大のデータセットであるFEVER [1]の方法論を,インターネットから収集した実生活クレームに適用する。
我々は、textscfeverフレームワーク内での現実世界の気候関連クレームをモデル化する、驚くべき、微妙な複雑さについて論じる。
論文 参考訳（メタデータ） (2020-12-01T16:32:54Z) - Analyzing Sustainability Reports Using Natural Language Processing [68.8204255655161]
近年、企業は環境への影響を緩和し、気候変動の状況に適応することを目指している。
これは、環境・社会・ガバナンス(ESG)の傘下にある様々な種類の気候リスクと暴露を網羅する、ますます徹底した報告を通じて報告されている。
本稿では,本稿で開発したツールと方法論について紹介する。
論文 参考訳（メタデータ） (2020-11-03T21:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。