論文の概要: Climate-ModernBERT: Revisiting Corpus Composition for Domain-Adaptive Continued Pretraining
- arxiv url: http://arxiv.org/abs/2609.07798v1
- Date: Mon, 07 Sep 2026 17:41:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.493702
- Title: Climate-ModernBERT: Revisiting Corpus Composition for Domain-Adaptive Continued Pretraining
- Title（参考訳）: 気候に適応したプレトレーニングのためのコーパス構成の再検討
- Abstract要約: 気候適応型エンコーダモデルであるClimate-ModernBERTを紹介する。
個別のチェックポイントのパラメータ空間のマージとコーパス混合物の継続事前学習の比較を行った。
気候NLP設定では,学術的な気候コーパスが評価された情報源の中で最強の適応信号を提供することが示された。
- 参考スコア（独自算出の注目度）: 8.17889232497434
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural Language Processing (NLP) in the climate domain requires models to process heterogeneous text sources, including scientific literature, policy disclosures, and synthetic reports. However, how to effectively combine diverse domain corpora during continued pretraining (CPT) remains underexplored. We introduce Climate-ModernBERT, a family of climate-adapted encoder models obtained through continued pretraining of ModernBERT-Base on three climate corpora: academic climate text, climate-filtered web data, and synthetic climate documents. We systematically compare joint continued pretraining on corpus mixtures with parameter-space merging of independently specialized checkpoints. Across nine climate NLP benchmarks, our best model achieves 76.3 average F_1, improving significantly over a vanilla ModernBERT baseline by 2.8 points. Within the climate NLP setting, the results show that academic climate corpora provide the strongest adaptation signal among the evaluated sources, while parameter-space merging improves over joint multi-source training and better preserves complementary information from heterogeneous climate corpora. We release all Climate-ModernBERT variants and training checkpoints to support future research in climate NLP and domain-adaptive pretraining.
- Abstract（参考訳）: 気候領域における自然言語処理(NLP)は、科学文献、政策開示、合成報告を含む異種テキストソースを処理するモデルを必要とする。
しかし、CPT(Continuous Pretraining)において、多様なドメインコーパスを効果的に組み合わせる方法については、未解明のままである。
気候適応型エンコーダモデルであるClimate-ModernBERTを紹介する。これは,Climate-ModernBERT-Baseの3つの気候コーパス(学術的気候テキスト,Climate-filtered web data,synthetic climate document)の事前学習を通じて得られたものである。
個別のチェックポイントのパラメータ空間のマージとコーパス混合物の連成継続事前学習を系統的に比較した。
9つの気候NLPベンチマークで、最高のモデルでは平均F_1が76.3であり、バニラのModernBERTベースラインよりも2.8ポイント向上した。
気候NLP設定では,学術的な気候コーパスが評価ソースの中で最強の適応信号を提供するのに対し,パラメータ空間のマージは共同マルチソーストレーニングよりも改善され,異種気候コーパスの補完情報が保存される。
気候NLPおよびドメイン適応型事前学習における将来の研究を支援するため、気候-現代バースト変異体およびトレーニングチェックポイントを全てリリースする。
関連論文リスト
- Climate-Eval: A Comprehensive Benchmark for NLP Tasks Related to Climate Change [2.8680187920555635]
Climate-Evalは、既存のデータセットと、新たに開発されたニュース分類データセットを集約する。
この結果、13のデータセットに基づいた25のタスクのベンチマークが、気候談話の重要な側面をカバーしている。
論文 参考訳（メタデータ） (2025-05-24T11:45:46Z) - ClimateBench-M: A Multi-Modal Climate Data Benchmark with a Simple Generative Method [61.76389719956301]
我々は、ERA5の時系列気候データ、NOAAの極度の気象イベントデータ、NASAの衛星画像データを調整するマルチモーダル気候ベンチマークであるClimateBench-Mに貢献する。
また,各データモダリティの下では,天気予報,雷雨警報,作物の分断作業において,競争性能を向上できる簡易かつ強力な生成手法を提案する。
論文 参考訳（メタデータ） (2025-04-10T02:22:23Z) - ClimaQA: An Automated Evaluation Framework for Climate Question Answering Models [38.05357439484919]
気候学者による大学院教科書から質問応答ペアを生成する適応学習フレームワークであるClimaGenを開発した。
気候科学のための大規模で総合的な総合的なQAデータセットであるClimaQA-Silverとともに、専門家による注釈付きベンチマークデータセットであるClimaQA-Goldを提示する。
論文 参考訳（メタデータ） (2024-10-22T05:12:19Z) - ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on
Climate Change [21.827936253363603]
本稿では,気候変動に関する学際的な研究を合成するドメイン固有大規模言語モデルのモデルファミリーであるClimateGPTを紹介する。
科学指向の300Bトークンデータセットを用いて,スクラッチから2つの7Bモデルをトレーニングした。
気候GPT-7B、13B、70Bは、Llama2から4.2Bトークンのドメイン固有のデータセットで継続的に事前訓練される。
論文 参考訳（メタデータ） (2024-01-17T23:29:46Z) - Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored
Arabic LLM [77.17254959695218]
ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。
我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。
本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
論文 参考訳（メタデータ） (2023-12-14T22:04:07Z) - Federated Prompt Learning for Weather Foundation Models on Devices [37.88417074427373]
天気予報のためのデバイス上のインテリジェンスでは、ローカルなディープラーニングモデルを使用して、集中型クラウドコンピューティングなしで気象パターンを分析する。
本稿では,FedPoD(Federated Prompt Learning for Weather Foundation Models on Devices)を提案する。
FedPoDは、通信効率を維持しながら、高度にカスタマイズされたモデルを得ることができる。
論文 参考訳（メタデータ） (2023-05-23T16:59:20Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳（メタデータ） (2023-01-24T23:19:01Z) - Towards Answering Climate Questionnaires from Unstructured Climate
Reports [26.036105166376284]
活動家や政策立案者は、巨大で急速に成長する非構造的気候レポートを構造化形式に処理するためにNLPツールを必要としている。
2つの大規模気候調査データセットを導入し、既存の構造を用いて自己教師型モデルを訓練する。
次に、これらのモデルを用いて、人間のパイロット実験において、構造化されていない気候文書からのテキストと半構造化されたアンケートとの整合を支援する。
論文 参考訳（メタデータ） (2023-01-11T00:22:56Z) - Spatiotemporal modeling of European paleoclimate using doubly sparse
Gaussian processes [61.31361524229248]
計算負担を軽減するため,近年の大規模分散時間GPを構築した。
我々は,古気候の確率モデルを構築するために,この2倍のスパースGPをうまく利用した。
論文 参考訳（メタデータ） (2022-11-15T14:15:04Z) - Analyzing Sustainability Reports Using Natural Language Processing [68.8204255655161]
近年、企業は環境への影響を緩和し、気候変動の状況に適応することを目指している。
これは、環境・社会・ガバナンス(ESG)の傘下にある様々な種類の気候リスクと暴露を網羅する、ますます徹底した報告を通じて報告されている。
本稿では,本稿で開発したツールと方法論について紹介する。
論文 参考訳（メタデータ） (2020-11-03T21:22:42Z) - Dynamical Landscape and Multistability of a Climate Model [64.467612647225]
2つの気候モデルのうちの1つで第3の中間安定状態が見つかる。
我々のアプローチを組み合わせることで、海洋熱輸送とエントロピー生産の負のフィードバックが地球の気候の地形をどのように大きく変えるかを特定することができる。
論文 参考訳（メタデータ） (2020-10-20T15:31:38Z) - HECT: High-Dimensional Ensemble Consistency Testing for Climate Models [1.7587442088965226]
気候モデルは、気候変動が気候変動に与える影響を理解する上で重要な役割を担い、気候変動のリスクを軽減し、決定を通知する。
コミュニティアース・システム・モデル (CESM) のような大域的な気候モデルは、大気、陸、海、氷の相互作用を記述する数百万行のコードで非常に複雑である。
私たちの研究は、木に基づくアルゴリズムやディープニューラルネットワークのような確率論的手法を使って、高次元および人為的なデータの統計的に厳密な適合性テストを行います。
論文 参考訳（メタデータ） (2020-10-08T15:16:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。