論文の概要: ClimaQA: An Automated Evaluation Framework for Climate Foundation Models
- arxiv url: http://arxiv.org/abs/2410.16701v1
- Date: Tue, 22 Oct 2024 05:12:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-23 14:28:08.011292
- Title: ClimaQA: An Automated Evaluation Framework for Climate Foundation Models
- Title（参考訳）: ClimaQA:気候基礎モデルの自動評価フレームワーク
- Authors: Veeramakali Vignesh Manivannan, Yasaman Jafari, Srikar Eranky, Spencer Ho, Rose Yu, Duncan Watson-Parris, Yian Ma, Leon Bergen, Taylor Berg-Kirkpatrick,
- Abstract要約: 気候学者と大学院の教科書から質問応答ペアを生成する自動化フレームワークであるClimaGenを開発した。
気候科学のための大規模で総合的な総合的なQAデータセットであるClimaQA-Silverとともに、専門家による注釈付きベンチマークデータセットであるClimaQA-Goldを提示する。
- 参考スコア（独自算出の注目度）: 38.05357439484919
- License:
- Abstract: The use of foundation models in climate science has recently gained significant attention. However, a critical issue remains: the lack of a comprehensive evaluation framework capable of assessing the quality and scientific validity of model outputs. To address this issue, we develop ClimaGen (Climate QA Generator), an automated algorithmic framework that generates question-answer pairs from graduate textbooks with climate scientists in the loop. As a result, we present ClimaQA-Gold, an expert-annotated benchmark dataset alongside ClimaQA-Silver, a large-scale, comprehensive synthetic QA dataset for climate science. Finally, we develop evaluation strategies and compare different Large Language Models (LLMs) on our benchmarks. Our results offer novel insights into various approaches used to enhance climate foundation models.
- Abstract（参考訳）: 気候科学における基礎モデルの利用は近年大きな注目を集めている。
しかし、重要な問題は、モデル出力の品質と科学的妥当性を評価するための包括的な評価フレームワークがないことである。
この問題に対処するため,気候学者と大学院教科書から質問応答ペアを生成するアルゴリズムフレームワークであるClimaGen(Climate QA Generator)を開発した。
その結果、気候科学のための大規模で総合的な総合的なQAデータセットであるClimaQA-Silverとともに、専門家による注釈付きベンチマークデータセットであるClimaQA-Goldを提示した。
最後に、評価戦略を開発し、ベンチマークで異なるLarge Language Model(LLM)を比較した。
この結果は、気候基盤モデルを強化するために使われる様々なアプローチに関する新しい洞察を提供する。
関連論文リスト
- Advancing Data-driven Weather Forecasting: Time-Sliding Data
Augmentation of ERA5 [3.3748750222488657]
我々は高解像度データへの共通依存から逸脱する新しい戦略を導入する。
本稿では,データ拡張と処理に対する新たなアプローチとして,変数の追加による従来のアプローチの改善について述べる。
その結果, 解像度が低いにもかかわらず, 提案手法は大気条件の予測にかなり精度が高いことがわかった。
論文 参考訳（メタデータ） (2024-02-13T03:01:22Z) - FengWu-GHR: Learning the Kilometer-scale Medium-range Global Weather
Forecasting [56.73502043159699]
この研究は、データ駆動型世界天気予報モデルであるFengWu-GHRを、0.09$circ$水平解像度で実行した。
低解像度モデルから事前知識を継承することにより、MLベースの高解像度予測を操作するための扉を開く新しいアプローチを導入する。
2022年の天気予報は、FengWu-GHRがIFS-HRESよりも優れていることを示している。
論文 参考訳（メタデータ） (2024-01-28T13:23:25Z) - Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored
Arabic LLM [77.17254959695218]
ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。
我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。
本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
論文 参考訳（メタデータ） (2023-12-14T22:04:07Z) - ClimateLearn: Benchmarking Machine Learning for Weather and Climate
Modeling [20.63843548201849]
ClimateLearnは、データ駆動型気候科学のための機械学習モデルのトレーニングと評価を大幅に単純化する、オープンソースのライブラリである。
これは、現代の機械学習システムによる気象と気候モデリングの研究をブリッジする、最初の大規模かつオープンソースな取り組みである。
論文 参考訳（メタデータ） (2023-07-04T20:36:01Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳（メタデータ） (2023-01-24T23:19:01Z) - Towards Answering Climate Questionnaires from Unstructured Climate
Reports [26.036105166376284]
活動家や政策立案者は、巨大で急速に成長する非構造的気候レポートを構造化形式に処理するためにNLPツールを必要としている。
2つの大規模気候調査データセットを導入し、既存の構造を用いて自己教師型モデルを訓練する。
次に、これらのモデルを用いて、人間のパイロット実験において、構造化されていない気候文書からのテキストと半構造化されたアンケートとの整合を支援する。
論文 参考訳（メタデータ） (2023-01-11T00:22:56Z) - Spatiotemporal modeling of European paleoclimate using doubly sparse
Gaussian processes [61.31361524229248]
計算負担を軽減するため,近年の大規模分散時間GPを構築した。
我々は,古気候の確率モデルを構築するために,この2倍のスパースGPをうまく利用した。
論文 参考訳（メタデータ） (2022-11-15T14:15:04Z) - Climate-Invariant Machine Learning [0.8831201550856289]
現在の気候モデルは、モデルグリッドサイズよりも小さなスケールで発生するプロセスの表現を必要とする。
最近の機械学習(ML)アルゴリズムは、そのようなプロセス表現を改善することを約束するが、訓練されていない気候体制に悪影響を及ぼす傾向がある。
我々は、気候プロセスの知識をMLアルゴリズムに取り入れた「気候不変」MLと呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-14T07:02:57Z) - Analyzing Sustainability Reports Using Natural Language Processing [68.8204255655161]
近年、企業は環境への影響を緩和し、気候変動の状況に適応することを目指している。
これは、環境・社会・ガバナンス(ESG)の傘下にある様々な種類の気候リスクと暴露を網羅する、ますます徹底した報告を通じて報告されている。
本稿では,本稿で開発したツールと方法論について紹介する。
論文 参考訳（メタデータ） (2020-11-03T21:22:42Z) - HECT: High-Dimensional Ensemble Consistency Testing for Climate Models [1.7587442088965226]
気候モデルは、気候変動が気候変動に与える影響を理解する上で重要な役割を担い、気候変動のリスクを軽減し、決定を通知する。
コミュニティアース・システム・モデル (CESM) のような大域的な気候モデルは、大気、陸、海、氷の相互作用を記述する数百万行のコードで非常に複雑である。
私たちの研究は、木に基づくアルゴリズムやディープニューラルネットワークのような確率論的手法を使って、高次元および人為的なデータの統計的に厳密な適合性テストを行います。
論文 参考訳（メタデータ） (2020-10-08T15:16:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。