論文の概要: ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on Climate Change

• arxiv url: http://arxiv.org/abs/2401.09646v1
• Date: Wed, 17 Jan 2024 23:29:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 18:23:37.573333
• Title: ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on Climate Change
• Title（参考訳）: ClimateGPT: 気候変動に関する学際研究をAIで合成する
• Authors: David Thulke and Yingbo Gao and Petrus Pelser and Rein Brune and Rricha Jalota and Floris Fok and Michael Ramos and Ian van Wyk and Abdallah Nasir and Hayden Goldstein and Taylor Tragemann and Katie Nguyen and Ariana Fowler and Andrew Stanco and Jon Gabriel and Jordan Taylor and Dean Moro and Evgenii Tsymbalov and Juliette de Waal and Evgeny Matusov and Mudar Yaghi and Mohammad Shihadah and Hermann Ney and Christian Dugast and Jonathan Dotan and Daniel Erasmus
• Abstract要約: 本稿では,気候変動に関する学際的な研究を合成するドメイン固有大規模言語モデルのモデルファミリーであるClimateGPTを紹介する。 科学指向の300Bトークンデータセットを用いて,スクラッチから2つの7Bモデルをトレーニングした。 気候GPT-7B、13B、70Bは、Llama2から4.2Bトークンのドメイン固有のデータセットで継続的に事前訓練される。
• 参考スコア（独自算出の注目度）: 21.827936253363603
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper introduces ClimateGPT, a model family of domain-specific large language models that synthesize interdisciplinary research on climate change. We trained two 7B models from scratch on a science-oriented dataset of 300B tokens. For the first model, the 4.2B domain-specific tokens were included during pre-training and the second was adapted to the climate domain after pre-training. Additionally, ClimateGPT-7B, 13B and 70B are continuously pre-trained from Llama~2 on a domain-specific dataset of 4.2B tokens. Each model is instruction fine-tuned on a high-quality and human-generated domain-specific dataset that has been created in close cooperation with climate scientists. To reduce the number of hallucinations, we optimize the model for retrieval augmentation and propose a hierarchical retrieval strategy. To increase the accessibility of our model to non-English speakers, we propose to make use of cascaded machine translation and show that this approach can perform comparably to natively multilingual models while being easier to scale to a large number of languages. Further, to address the intrinsic interdisciplinary aspect of climate change we consider different research perspectives. Therefore, the model can produce in-depth answers focusing on different perspectives in addition to an overall answer. We propose a suite of automatic climate-specific benchmarks to evaluate LLMs. On these benchmarks, ClimateGPT-7B performs on par with the ten times larger Llama-2-70B Chat model while not degrading results on general domain benchmarks. Our human evaluation confirms the trends we saw in our benchmarks. All models were trained and evaluated using renewable energy and are released publicly.
• Abstract（参考訳）: 本稿では,気候変動に関する学際研究を合成するドメイン固有大規模言語モデルのモデルファミリーであるClimateGPTを紹介する。 科学指向の300Bトークンデータセットを用いて,スクラッチから2つの7Bモデルをトレーニングした。 第1モデルでは4.2bドメイン固有のトークンが事前トレーニング中に含まれ、第2モデルは事前トレーニング後に気候領域に適応された。 さらに、climategpt-7b、13b、70bは4.2bトークンのドメイン固有データセット上でllama~2から継続的に事前トレーニングされる。 それぞれのモデルは、気候科学者と緊密に協力して作成された高品質で人為的なドメイン固有データセットに基づいて微調整される。 幻覚の数を減らすため,探索拡張のためのモデルを最適化し,階層的検索戦略を提案する。 非英語話者への我々のモデルのアクセシビリティを高めるために、カスケード機械翻訳を用いて、本手法がネイティブな多言語モデルと互換性を持ちながら、多数の言語に拡張しやすいことを示す。 さらに、気候変動の本質的な学際的側面に対処するため、異なる研究の視点を考察する。 したがって、モデルでは、全体的回答に加えて、異なる視点に焦点を当てた深い回答を生成できる。 LLMを評価するために,気候別自動ベンチマークスイートを提案する。 これらのベンチマークでは、ClimateGPT-7BはLlama-2-70B Chatモデルよりも10倍大きいが、一般のドメインベンチマークでは劣化しない。 人間の評価は、ベンチマークで見たトレンドを確認します。 全てのモデルは再生可能エネルギーを用いて訓練され評価され、一般公開された。

関連論文リスト

• Probabilistic Emulation of a Global Climate Model with Spherical DYffusion [15.460280166612119]
  本稿では,地球規模の気候アンサンブルシミュレーションを作成できる最初の条件生成モデルについて述べる。 われわれのアプローチは、関連する基準を破り、気候モデルエミュレーションを成功させるための金の基準にほぼ達している。
  論文  参考訳（メタデータ） (2024-06-21T00:16:55Z)
• Comparing Data-Driven and Mechanistic Models for Predicting Phenology in Deciduous Broadleaf Forests [47.285748922842444]
  我々は、気象時系列から表現指標を予測するために、ディープニューラルネットワークを訓練する。 このアプローチは従来のプロセスベースのモデルよりも優れています。
  論文  参考訳（メタデータ） (2024-01-08T15:29:23Z)
• Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM [77.17254959695218]
  ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。 我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。 本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
  論文  参考訳（メタデータ） (2023-12-14T22:04:07Z)
• ClimateSet: A Large-Scale Climate Model Dataset for Machine Learning [26.151056828513962]
  気候モデルは、気候変動の影響を評価し、将来の気候シナリオをシミュレートするための鍵となっている。 機械学習(ML)コミュニティは、気候モデルエミュレーション、ダウンスケーリング、予測タスクといった様々なタスクにおける気候科学者の取り組みを支援することへの関心が高まっている。 ここでは、入力4MIPとCMIP6アーカイブから36の気候モデルの入力と出力を含むデータセットであるClimateSetを紹介する。
  論文  参考訳（メタデータ） (2023-11-07T04:55:36Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• ClimaX: A foundation model for weather and climate [51.208269971019504]
  ClimaXは気象と気候科学のディープラーニングモデルである。 気候データセットの自己教師型学習目標で事前トレーニングすることができる。 気候や気候の様々な問題に対処するために、微調整が可能である。
  論文  参考訳（メタデータ） (2023-01-24T23:19:01Z)
• Towards Answering Climate Questionnaires from Unstructured Climate Reports [26.036105166376284]
  活動家や政策立案者は、巨大で急速に成長する非構造的気候レポートを構造化形式に処理するためにNLPツールを必要としている。 2つの大規模気候調査データセットを導入し、既存の構造を用いて自己教師型モデルを訓練する。 次に、これらのモデルを用いて、人間のパイロット実験において、構造化されていない気候文書からのテキストと半構造化されたアンケートとの整合を支援する。
  論文  参考訳（メタデータ） (2023-01-11T00:22:56Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• HECT: High-Dimensional Ensemble Consistency Testing for Climate Models [1.7587442088965226]
  気候モデルは、気候変動が気候変動に与える影響を理解する上で重要な役割を担い、気候変動のリスクを軽減し、決定を通知する。 コミュニティアース・システム・モデル (CESM) のような大域的な気候モデルは、大気、陸、海、氷の相互作用を記述する数百万行のコードで非常に複雑である。 私たちの研究は、木に基づくアルゴリズムやディープニューラルネットワークのような確率論的手法を使って、高次元および人為的なデータの統計的に厳密な適合性テストを行います。
  論文  参考訳（メタデータ） (2020-10-08T15:16:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。