論文の概要: Climate-Eval: A Comprehensive Benchmark for NLP Tasks Related to Climate Change

• arxiv url: http://arxiv.org/abs/2505.18653v1
• Date: Sat, 24 May 2025 11:45:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.570486
• Title: Climate-Eval: A Comprehensive Benchmark for NLP Tasks Related to Climate Change
• Title（参考訳）: 気候変動に関連するNLPタスクの総合ベンチマーク
• Authors: Murathan Kurfalı, Shorouq Zahra, Joakim Nivre, Gabriele Messori,
• Abstract要約: Climate-Evalは、既存のデータセットと、新たに開発されたニュース分類データセットを集約する。 この結果、13のデータセットに基づいた25のタスクのベンチマークが、気候談話の重要な側面をカバーしている。
• 参考スコア（独自算出の注目度）: 2.8680187920555635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Climate-Eval is a comprehensive benchmark designed to evaluate natural language processing models across a broad range of tasks related to climate change. Climate-Eval aggregates existing datasets along with a newly developed news classification dataset, created specifically for this release. This results in a benchmark of 25 tasks based on 13 datasets, covering key aspects of climate discourse, including text classification, question answering, and information extraction. Our benchmark provides a standardized evaluation suite for systematically assessing the performance of large language models (LLMs) on these tasks. Additionally, we conduct an extensive evaluation of open-source LLMs (ranging from 2B to 70B parameters) in both zero-shot and few-shot settings, analyzing their strengths and limitations in the domain of climate change.
• Abstract（参考訳）: Climate-Evalは、気候変動に関連する幅広いタスクにわたる自然言語処理モデルを評価するために設計された包括的なベンチマークである。 Climate-Evalは、このリリースのために特別に作成された、新たに開発されたニュース分類データセットとともに、既存のデータセットを集約する。 この結果、13のデータセットに基づいた25のタスクのベンチマークが実施され、テキスト分類、質問応答、情報抽出など、気候談話の重要な側面をカバーしている。 本ベンチマークは,これらのタスクにおける大規模言語モデル(LLM)の性能を体系的に評価するための,標準化された評価スイートを提供する。 さらに、ゼロショットと少数ショットの両方の設定において、オープンソースのLCM(2Bから70Bパラメータ)を広範囲に評価し、気候変動領域におけるその強度と限界を分析した。

関連論文リスト

• ClimateBench-M: A Multi-Modal Climate Data Benchmark with a Simple Generative Method [61.76389719956301]
  我々は、ERA5の時系列気候データ、NOAAの極度の気象イベントデータ、NASAの衛星画像データを調整するマルチモーダル気候ベンチマークであるClimateBench-Mに貢献する。 また,各データモダリティの下では,天気予報,雷雨警報,作物の分断作業において,競争性能を向上できる簡易かつ強力な生成手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T02:22:23Z)
• ClimaQA: An Automated Evaluation Framework for Climate Question Answering Models [38.05357439484919]
  気候学者による大学院教科書から質問応答ペアを生成する適応学習フレームワークであるClimaGenを開発した。 気候科学のための大規模で総合的な総合的なQAデータセットであるClimaQA-Silverとともに、専門家による注釈付きベンチマークデータセットであるClimaQA-Goldを提示する。
  論文  参考訳（メタデータ） (2024-10-22T05:12:19Z)
• ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on Climate Change [21.827936253363603]
  本稿では,気候変動に関する学際的な研究を合成するドメイン固有大規模言語モデルのモデルファミリーであるClimateGPTを紹介する。 科学指向の300Bトークンデータセットを用いて,スクラッチから2つの7Bモデルをトレーニングした。 気候GPT-7B、13B、70Bは、Llama2から4.2Bトークンのドメイン固有のデータセットで継続的に事前訓練される。
  論文  参考訳（メタデータ） (2024-01-17T23:29:46Z)
• Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM [77.17254959695218]
  ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。 我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。 本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
  論文  参考訳（メタデータ） (2023-12-14T22:04:07Z)
• ClimaX: A foundation model for weather and climate [51.208269971019504]
  ClimaXは気象と気候科学のディープラーニングモデルである。 気候データセットの自己教師型学習目標で事前トレーニングすることができる。 気候や気候の様々な問題に対処するために、微調整が可能である。
  論文  参考訳（メタデータ） (2023-01-24T23:19:01Z)
• Towards Answering Climate Questionnaires from Unstructured Climate Reports [26.036105166376284]
  活動家や政策立案者は、巨大で急速に成長する非構造的気候レポートを構造化形式に処理するためにNLPツールを必要としている。 2つの大規模気候調査データセットを導入し、既存の構造を用いて自己教師型モデルを訓練する。 次に、これらのモデルを用いて、人間のパイロット実験において、構造化されていない気候文書からのテキストと半構造化されたアンケートとの整合を支援する。
  論文  参考訳（メタデータ） (2023-01-11T00:22:56Z)
• GENEVA: Benchmarking Generalizability for Event Argument Extraction with Hundreds of Event Types and Argument Roles [77.05288144035056]
  Event Argument extract (EAE)は、新しいイベントやドメインに対応するためのモデルの一般化性の改善に重点を置いている。 ACEやEREといった標準的なベンチマークデータセットは、40のイベントタイプと25のエンティティ中心の引数ロールをカバーする。
  論文  参考訳（メタデータ） (2022-05-25T05:46:28Z)
• Analyzing Sustainability Reports Using Natural Language Processing [68.8204255655161]
  近年、企業は環境への影響を緩和し、気候変動の状況に適応することを目指している。 これは、環境・社会・ガバナンス(ESG)の傘下にある様々な種類の気候リスクと暴露を網羅する、ますます徹底した報告を通じて報告されている。 本稿では,本稿で開発したツールと方法論について紹介する。
  論文  参考訳（メタデータ） (2020-11-03T21:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。