論文の概要: MMClima: A Framework for Multimodal Climate Science Data and Evaluation
- arxiv url: http://arxiv.org/abs/2606.10194v1
- Date: Mon, 08 Jun 2026 21:30:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.200671
- Title: MMClima: A Framework for Multimodal Climate Science Data and Evaluation
- Title(参考訳): MMClima:マルチモーダル気候科学データと評価のためのフレームワーク
- Authors: Muhammad Umer Sheikh, Hassan Abid, Khawar Shehzad, Ufaq Khan, Muhammad Haris Khan,
- Abstract要約: MMClimaは大規模なマルチモーダル気候質問応答フレームワークであり、記事、ビデオの書き起こし、数字にまたがる104k以上の有能な質問応答対を持つ。
ファクトリコール、視覚的解釈、およびクロスモーダル合成を必要とするタスクについて、最先端のマルチモーダル言語モデルをベンチマークする。
我々は、気候科学の標準化されたマルチモーダル評価をサポートするために、データセット、評価パイプライン、微調整モデルウェイト、およびデータ作成フレームワークをリリースする。
- 参考スコア(独自算出の注目度): 18.546813902218265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Climate change research increasingly requires AI systems that reason across text, dynamic visual content, and scientific figures, yet existing climate QA benchmarks are small, mostly textual, and cover a narrow range of models. We introduce MMClima, a large-scale multimodal climate question answering framework with 104k+ expert-validated question-answer pairs spanning articles, video transcriptions, and figures across five core climate science domains. MMClima is constructed via automated claim extraction and QA synthesis with human-in-the-loop validation to ensure both scale and reliability. Using MMClima, we benchmark state-of-the-art multimodal language models on tasks requiring factual recall, visual interpretation, and cross-modal synthesis. We additionally fine-tune on the textual split to produce mmclima-70b-txt, a domain-adapted baseline that outperforms strong open- and closed-source models on textual QA. We release the dataset, evaluation pipeline, fine-tuned model weights, and data creation framework to support standardized multimodal evaluation for climate science.
- Abstract(参考訳): 気候変動の研究は、テキスト、ダイナミックなビジュアルコンテンツ、科学的な数字にまたがるAIシステムを必要とすることが多いが、既存のQAベンチマークは小さく、主にテキストで、限られた範囲のモデルをカバーしている。
MMClimaは,5つの中核気候科学領域にまたがる記事,ビデオの書き起こし,数字を対象とする,104k以上の有能な質問応答対を持つ大規模マルチモーダル気候質問応答フレームワークである。
MMClimaは、自動クレーム抽出と人間のループ検証によるQA合成によって構築され、スケールと信頼性の両方を保証する。
MMClimaを用いて,現実的リコール,視覚的解釈,相互モーダル合成を必要とするタスクに対して,最先端のマルチモーダル言語モデルをベンチマークする。
また,テキスト分割を微調整してmclima-70b-txtを生成する。これはドメイン適応ベースラインで,テキストQA上での強力なオープンソースモデルとクローズソースモデルより優れている。
我々は、気候科学の標準化されたマルチモーダル評価をサポートするために、データセット、評価パイプライン、微調整モデルウェイト、およびデータ作成フレームワークをリリースする。
関連論文リスト
- ClimateBench-M: A Multi-Modal Climate Data Benchmark with a Simple Generative Method [61.76389719956301]
我々は、ERA5の時系列気候データ、NOAAの極度の気象イベントデータ、NASAの衛星画像データを調整するマルチモーダル気候ベンチマークであるClimateBench-Mに貢献する。
また,各データモダリティの下では,天気予報,雷雨警報,作物の分断作業において,競争性能を向上できる簡易かつ強力な生成手法を提案する。
論文 参考訳(メタデータ) (2025-04-10T02:22:23Z) - CliME: Evaluating Multimodal Climate Discourse on Social Media and the Climate Alignment Quotient (CAQ) [14.065907685322097]
CliMEは、TwitterとRedditの2579の投稿からなる、同種のマルチモーダルデータセットである。
このベンチマークはユーモラスなミームと懐疑的な投稿の多様なコレクションを特徴とし、これらのフォーマットが複雑な問題を、世論や政策に関する議論を形作るような、バイラルな物語にどのように蒸留するかを捉えている。
本稿では,5つの異なる次元(Articulation, Evidence, Resonance, transition, specificity)からなる新しい尺度であるClimate Alignment Quotient(CAQ)を紹介する。
以上の結果から,ほとんどのLCMは批判と正義において比較的良好に機能するが,アクティビリティーの軸では常に性能が劣っていることが示唆された。
論文 参考訳(メタデータ) (2025-04-04T20:01:00Z) - mmE5: Improving Multimodal Multilingual Embeddings via High-quality Synthetic Data [71.352883755806]
マルチモーダル埋め込みモデルは、テキストや画像などの様々なモダリティからデータを統一表現空間にマッピングする能力において、大きな注目を集めている。
しかし、ラベル付きマルチモーダルデータは、しばしば埋め込み性能を妨げる。
近年のアプローチでは、この問題に対処するためにデータ合成を活用しているが、合成データの質は依然として重大なボトルネックとなっている。
論文 参考訳(メタデータ) (2025-02-12T15:03:33Z) - ClimaQA: An Automated Evaluation Framework for Climate Question Answering Models [38.05357439484919]
気候学者による大学院教科書から質問応答ペアを生成する適応学習フレームワークであるClimaGenを開発した。
気候科学のための大規模で総合的な総合的なQAデータセットであるClimaQA-Silverとともに、専門家による注釈付きベンチマークデータセットであるClimaQA-Goldを提示する。
論文 参考訳(メタデータ) (2024-10-22T05:12:19Z) - MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。
2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。
タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
論文 参考訳(メタデータ) (2024-07-06T00:40:53Z) - Synthetic Multimodal Question Generation [60.33494376081317]
MMRAG(Multimodal Retrieval Augmented Generation)は,マルチモーダル文書に対する質問応答のための強力な手法である。
マルチモーダル文書から直接質問と回答のペアを生成する合成データ生成フレームワークSMMQGを提案する。
SMMQGを用いて、ウィキペディア文書上の1024の質問のMMRAGデータセットを生成し、それを用いて最先端のモデルを評価する。
論文 参考訳(メタデータ) (2024-07-02T12:57:42Z) - ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on
Climate Change [21.827936253363603]
本稿では,気候変動に関する学際的な研究を合成するドメイン固有大規模言語モデルのモデルファミリーであるClimateGPTを紹介する。
科学指向の300Bトークンデータセットを用いて,スクラッチから2つの7Bモデルをトレーニングした。
気候GPT-7B、13B、70Bは、Llama2から4.2Bトークンのドメイン固有のデータセットで継続的に事前訓練される。
論文 参考訳(メタデータ) (2024-01-17T23:29:46Z) - Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored
Arabic LLM [77.17254959695218]
ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。
我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。
本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
論文 参考訳(メタデータ) (2023-12-14T22:04:07Z) - ClimateSet: A Large-Scale Climate Model Dataset for Machine Learning [26.151056828513962]
気候モデルは、気候変動の影響を評価し、将来の気候シナリオをシミュレートするための鍵となっている。
機械学習(ML)コミュニティは、気候モデルエミュレーション、ダウンスケーリング、予測タスクといった様々なタスクにおける気候科学者の取り組みを支援することへの関心が高まっている。
ここでは、入力4MIPとCMIP6アーカイブから36の気候モデルの入力と出力を含むデータセットであるClimateSetを紹介する。
論文 参考訳(メタデータ) (2023-11-07T04:55:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。