論文の概要: ClimaQA: An Automated Evaluation Framework for Climate Foundation Models

• arxiv url: http://arxiv.org/abs/2410.16701v1
• Date: Tue, 22 Oct 2024 05:12:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:38.885105
• Title: ClimaQA: An Automated Evaluation Framework for Climate Foundation Models
• Title（参考訳）: ClimaQA:気候基礎モデルの自動評価フレームワーク
• Authors: Veeramakali Vignesh Manivannan, Yasaman Jafari, Srikar Eranky, Spencer Ho, Rose Yu, Duncan Watson-Parris, Yian Ma, Leon Bergen, Taylor Berg-Kirkpatrick,
• Abstract要約: 気候学者と大学院の教科書から質問応答ペアを生成する自動化フレームワークであるClimaGenを開発した。 気候科学のための大規模で総合的な総合的なQAデータセットであるClimaQA-Silverとともに、専門家による注釈付きベンチマークデータセットであるClimaQA-Goldを提示する。
• 参考スコア（独自算出の注目度）: 38.05357439484919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of foundation models in climate science has recently gained significant attention. However, a critical issue remains: the lack of a comprehensive evaluation framework capable of assessing the quality and scientific validity of model outputs. To address this issue, we develop ClimaGen (Climate QA Generator), an automated algorithmic framework that generates question-answer pairs from graduate textbooks with climate scientists in the loop. As a result, we present ClimaQA-Gold, an expert-annotated benchmark dataset alongside ClimaQA-Silver, a large-scale, comprehensive synthetic QA dataset for climate science. Finally, we develop evaluation strategies and compare different Large Language Models (LLMs) on our benchmarks. Our results offer novel insights into various approaches used to enhance climate foundation models.
• Abstract（参考訳）: 気候科学における基礎モデルの利用は近年大きな注目を集めている。 しかし、重要な問題は、モデル出力の品質と科学的妥当性を評価するための包括的な評価フレームワークがないことである。 この問題に対処するため,気候学者と大学院教科書から質問応答ペアを生成するアルゴリズムフレームワークであるClimaGen(Climate QA Generator)を開発した。 その結果、気候科学のための大規模で総合的な総合的なQAデータセットであるClimaQA-Silverとともに、専門家による注釈付きベンチマークデータセットであるClimaQA-Goldを提示した。 最後に、評価戦略を開発し、ベンチマークで異なるLarge Language Model(LLM)を比較した。 この結果は、気候基盤モデルを強化するために使われる様々なアプローチに関する新しい洞察を提供する。

関連論文リスト

• ClimateBench-M: A Multi-Modal Climate Data Benchmark with a Simple Generative Method [61.76389719956301]
  我々は、ERA5の時系列気候データ、NOAAの極度の気象イベントデータ、NASAの衛星画像データを調整するマルチモーダル気候ベンチマークであるClimateBench-Mに貢献する。 また,各データモダリティの下では,天気予報,雷雨警報,作物の分断作業において,競争性能を向上できる簡易かつ強力な生成手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T02:22:23Z)
• CliME: Evaluating Multimodal Climate Discourse on Social Media and the Climate Alignment Quotient (CAQ) [14.065907685322097]
  CliMEは、TwitterとRedditの2579の投稿からなる、同種のマルチモーダルデータセットである。 このベンチマークはユーモラスなミームと懐疑的な投稿の多様なコレクションを特徴とし、これらのフォーマットが複雑な問題を、世論や政策に関する議論を形作るような、バイラルな物語にどのように蒸留するかを捉えている。 本稿では,5つの異なる次元(Articulation, Evidence, Resonance, transition, specificity)からなる新しい尺度であるClimate Alignment Quotient(CAQ)を紹介する。 以上の結果から,ほとんどのLCMは批判と正義において比較的良好に機能するが,アクティビリティーの軸では常に性能が劣っていることが示唆された。
  論文  参考訳（メタデータ） (2025-04-04T20:01:00Z)
• ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering [54.80411755871931]
  質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。 化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。 このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。 収集したデータを完全に活用して,化学的な問題に効果的に答えるQAMatchモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-24T01:46:55Z)
• Advancing Data-driven Weather Forecasting: Time-Sliding Data Augmentation of ERA5 [3.3748750222488657]
  我々は高解像度データへの共通依存から逸脱する新しい戦略を導入する。 本稿では,データ拡張と処理に対する新たなアプローチとして,変数の追加による従来のアプローチの改善について述べる。 その結果, 解像度が低いにもかかわらず, 提案手法は大気条件の予測にかなり精度が高いことがわかった。
  論文  参考訳（メタデータ） (2024-02-13T03:01:22Z)
• FengWu-GHR: Learning the Kilometer-scale Medium-range Global Weather Forecasting [56.73502043159699]
  この研究は、データ駆動型世界天気予報モデルであるFengWu-GHRを、0.09$circ$水平解像度で実行した。 低解像度モデルから事前知識を継承することにより、MLベースの高解像度予測を操作するための扉を開く新しいアプローチを導入する。 2022年の天気予報は、FengWu-GHRがIFS-HRESよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-28T13:23:25Z)
• ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on Climate Change [21.827936253363603]
  本稿では,気候変動に関する学際的な研究を合成するドメイン固有大規模言語モデルのモデルファミリーであるClimateGPTを紹介する。 科学指向の300Bトークンデータセットを用いて,スクラッチから2つの7Bモデルをトレーニングした。 気候GPT-7B、13B、70Bは、Llama2から4.2Bトークンのドメイン固有のデータセットで継続的に事前訓練される。
  論文  参考訳（メタデータ） (2024-01-17T23:29:46Z)
• Climate Change from Large Language Models [7.190384101545232]
  気候変動は重大な問題を引き起こし、広範囲の理解と低炭素のライフスタイルの認識を必要としている。 大規模言語モデル(LLM)はこの危機に対処するための強力なツールを提供する。 本稿では,気候危機知識を評価するための自動評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T09:26:46Z)
• Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM [77.17254959695218]
  ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。 我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。 本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
  論文  参考訳（メタデータ） (2023-12-14T22:04:07Z)
• ClimateSet: A Large-Scale Climate Model Dataset for Machine Learning [26.151056828513962]
  気候モデルは、気候変動の影響を評価し、将来の気候シナリオをシミュレートするための鍵となっている。 機械学習(ML)コミュニティは、気候モデルエミュレーション、ダウンスケーリング、予測タスクといった様々なタスクにおける気候科学者の取り組みを支援することへの関心が高まっている。 ここでは、入力4MIPとCMIP6アーカイブから36の気候モデルの入力と出力を含むデータセットであるClimateSetを紹介する。
  論文  参考訳（メタデータ） (2023-11-07T04:55:36Z)
• ClimateLearn: Benchmarking Machine Learning for Weather and Climate Modeling [20.63843548201849]
  ClimateLearnは、データ駆動型気候科学のための機械学習モデルのトレーニングと評価を大幅に単純化する、オープンソースのライブラリである。 これは、現代の機械学習システムによる気象と気候モデリングの研究をブリッジする、最初の大規模かつオープンソースな取り組みである。
  論文  参考訳（メタデータ） (2023-07-04T20:36:01Z)
• ClimaX: A foundation model for weather and climate [51.208269971019504]
  ClimaXは気象と気候科学のディープラーニングモデルである。 気候データセットの自己教師型学習目標で事前トレーニングすることができる。 気候や気候の様々な問題に対処するために、微調整が可能である。
  論文  参考訳（メタデータ） (2023-01-24T23:19:01Z)
• Towards Answering Climate Questionnaires from Unstructured Climate Reports [26.036105166376284]
  活動家や政策立案者は、巨大で急速に成長する非構造的気候レポートを構造化形式に処理するためにNLPツールを必要としている。 2つの大規模気候調査データセットを導入し、既存の構造を用いて自己教師型モデルを訓練する。 次に、これらのモデルを用いて、人間のパイロット実験において、構造化されていない気候文書からのテキストと半構造化されたアンケートとの整合を支援する。
  論文  参考訳（メタデータ） (2023-01-11T00:22:56Z)
• Spatiotemporal modeling of European paleoclimate using doubly sparse Gaussian processes [61.31361524229248]
  計算負担を軽減するため,近年の大規模分散時間GPを構築した。 我々は,古気候の確率モデルを構築するために,この2倍のスパースGPをうまく利用した。
  論文  参考訳（メタデータ） (2022-11-15T14:15:04Z)
• Climate-Invariant Machine Learning [0.8831201550856289]
  現在の気候モデルは、モデルグリッドサイズよりも小さなスケールで発生するプロセスの表現を必要とする。 最近の機械学習(ML)アルゴリズムは、そのようなプロセス表現を改善することを約束するが、訓練されていない気候体制に悪影響を及ぼす傾向がある。 我々は、気候プロセスの知識をMLアルゴリズムに取り入れた「気候不変」MLと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-14T07:02:57Z)
• Analyzing Sustainability Reports Using Natural Language Processing [68.8204255655161]
  近年、企業は環境への影響を緩和し、気候変動の状況に適応することを目指している。 これは、環境・社会・ガバナンス(ESG)の傘下にある様々な種類の気候リスクと暴露を網羅する、ますます徹底した報告を通じて報告されている。 本稿では,本稿で開発したツールと方法論について紹介する。
  論文  参考訳（メタデータ） (2020-11-03T21:22:42Z)
• HECT: High-Dimensional Ensemble Consistency Testing for Climate Models [1.7587442088965226]
  気候モデルは、気候変動が気候変動に与える影響を理解する上で重要な役割を担い、気候変動のリスクを軽減し、決定を通知する。 コミュニティアース・システム・モデル (CESM) のような大域的な気候モデルは、大気、陸、海、氷の相互作用を記述する数百万行のコードで非常に複雑である。 私たちの研究は、木に基づくアルゴリズムやディープニューラルネットワークのような確率論的手法を使って、高次元および人為的なデータの統計的に厳密な適合性テストを行います。
  論文  参考訳（メタデータ） (2020-10-08T15:16:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。