論文の概要: Climate Change from Large Language Models
- arxiv url: http://arxiv.org/abs/2312.11985v1
- Date: Tue, 19 Dec 2023 09:26:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 16:13:01.496633
- Title: Climate Change from Large Language Models
- Title（参考訳）: 大規模言語モデルからの気候変動
- Authors: Hongyin Zhu, Prayag Tiwari
- Abstract要約: 我々は、データ合成と手作業によるコレクションを組み合わせて、多様な質問をコンパイルするハイブリッドなアプローチを採用しています。
これらの質問は、その原因、影響、緩和戦略、適応対策など、気候変動の様々な側面をカバーしている。
次に、収集した質問と生成した回答に基づいて、迅速なエンジニアリングを通じてモデル知識を評価する。
- 参考スコア（独自算出の注目度）: 8.494486294323282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Climate change presents significant challenges to the global community, and
it is imperative to raise widespread awareness of the climate crisis and
educate users about low-carbon living. Artificial intelligence, particularly
large language models (LLMs), have emerged as powerful tools in mitigating the
climate crisis, leveraging their extensive knowledge, broad user base, and
natural language interaction capabilities. However, despite the growing body of
research on climate change, there is a lack of comprehensive assessments of
climate crisis knowledge within LLMs. This paper aims to resolve this gap by
proposing an automatic evaluation framework. We employ a hybrid approach to
data acquisition that combines data synthesis and manual collection to compile
a diverse set of questions related to the climate crisis. These questions cover
various aspects of climate change, including its causes, impacts, mitigation
strategies, and adaptation measures. We then evaluate the model knowledge
through prompt engineering based on the collected questions and generated
answers. We propose a set of comprehensive metrics to evaluate the climate
crisis knowledge, incorporating indicators from 10 different perspectives.
Experimental results show that our method is effective in evaluating the
knowledge of LLMs regarding the climate crisis. We evaluate several
state-of-the-art LLMs and find that their knowledge falls short in terms of
timeliness.
- Abstract（参考訳）: 気候変動は世界社会に重大な課題をもたらし、気候変動に対する広く認識を高め、低炭素生活をユーザに教育することが不可欠である。
人工知能、特に大規模言語モデル(LLM)は、気候危機を緩和し、その広範な知識、幅広いユーザーベース、自然言語相互作用能力を活用する強力なツールとして登場した。
しかし、気候変動に関する研究の活発化にもかかわらず、LLM内の気候危機知識に関する総合的な評価が欠如している。
本稿では,このギャップを解決するために,自動評価フレームワークを提案する。
我々は、データ合成と手作業による収集を組み合わせて、気候危機に関連するさまざまな質問をまとめるハイブリッドなアプローチを採用している。
これらの質問は、その原因、影響、緩和戦略、適応対策など、気候変動の様々な側面をカバーしている。
次に、収集した質問と生成した回答に基づいて、プロンプトエンジニアリングを通じてモデル知識を評価する。
10の異なる視点から指標を取り入れ,気候危機に関する知識を評価するための総合的な指標セットを提案する。
実験結果から,気候危機に関するLSMの知識を評価する上で,本手法が有効であることが示唆された。
我々は最先端llmをいくつか評価し,その知識が時間軸で不足していることを見いだした。
関連論文リスト
- AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。
CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。
ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
論文 参考訳（メタデータ） (2024-10-25T17:06:27Z) - ClimaQA: An Automated Evaluation Framework for Climate Foundation Models [38.05357439484919]
気候学者と大学院の教科書から質問応答ペアを生成する自動化フレームワークであるClimaGenを開発した。
気候科学のための大規模で総合的な総合的なQAデータセットであるClimaQA-Silverとともに、専門家による注釈付きベンチマークデータセットであるClimaQA-Goldを提示する。
論文 参考訳（メタデータ） (2024-10-22T05:12:19Z) - Unlearning Climate Misinformation in Large Language Models [17.95497650321137]
気候変動に関する誤報は、人類にとって最も深刻な脅威の1つに対処する上で、重要な障害となっている。
本稿では,気候情報に関する大規模言語モデル(LLM)の事実的精度について検討する。
論文 参考訳（メタデータ） (2024-05-29T23:11:53Z) - Comparing Data-Driven and Mechanistic Models for Predicting Phenology in
Deciduous Broadleaf Forests [47.285748922842444]
我々は、気象時系列から表現指標を予測するために、ディープニューラルネットワークを訓練する。
このアプローチは従来のプロセスベースのモデルよりも優れています。
論文 参考訳（メタデータ） (2024-01-08T15:29:23Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored
Arabic LLM [77.17254959695218]
ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。
我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。
本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
論文 参考訳（メタデータ） (2023-12-14T22:04:07Z) - ClimateX: Do LLMs Accurately Assess Human Expert Confidence in Climate
Statements? [0.0]
気候ステートメントにおけるエキスパート信頼度(Expert Confidence in Climate Statements, ClimateX)データセットは,8094気候ステートメントからなる,新規でキュレートされた専門家ラベル付きデータセットである。
このデータセットを用いて,近年のLarge Language Models (LLMs) は,気候関連文における人間の専門家の信頼度を分類できることを示す。
全体として、モデルは、低信頼と中自信のステートメントに一貫性があり、重要な自信を示します。
論文 参考訳（メタデータ） (2023-11-28T10:26:57Z) - Assessing Large Language Models on Climate Information [5.034118180129635]
本稿では,Large Language Models (LLMs) を評価するための,科学コミュニケーション研究を基盤とした総合的な評価フレームワークを提案する。
本フレームワークは,8次元と30の課題にまたがるLLM世代を詳細に解析し,提示応答と妥当性の両方を強調した。
スケーラブルな監視のための新しいプロトコルを導入し、AIアシストと関連する教育のレーダに依存します。
論文 参考訳（メタデータ） (2023-10-04T16:09:48Z) - CLIMATE-FEVER: A Dataset for Verification of Real-World Climate Claims [4.574830585715129]
気候変動関連クレームを検証するための新しいデータセットであるCLIMATE-FEVERを紹介する。
人工的に設計されたクレームの最大のデータセットであるFEVER [1]の方法論を,インターネットから収集した実生活クレームに適用する。
我々は、textscfeverフレームワーク内での現実世界の気候関連クレームをモデル化する、驚くべき、微妙な複雑さについて論じる。
論文 参考訳（メタデータ） (2020-12-01T16:32:54Z) - Analyzing Sustainability Reports Using Natural Language Processing [68.8204255655161]
近年、企業は環境への影響を緩和し、気候変動の状況に適応することを目指している。
これは、環境・社会・ガバナンス(ESG)の傘下にある様々な種類の気候リスクと暴露を網羅する、ますます徹底した報告を通じて報告されている。
本稿では,本稿で開発したツールと方法論について紹介する。
論文 参考訳（メタデータ） (2020-11-03T21:22:42Z) - Dynamical Landscape and Multistability of a Climate Model [64.467612647225]
2つの気候モデルのうちの1つで第3の中間安定状態が見つかる。
我々のアプローチを組み合わせることで、海洋熱輸送とエントロピー生産の負のフィードバックが地球の気候の地形をどのように大きく変えるかを特定することができる。
論文 参考訳（メタデータ） (2020-10-20T15:31:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。