論文の概要: ClimateX: Do LLMs Accurately Assess Human Expert Confidence in Climate Statements?

• arxiv url: http://arxiv.org/abs/2311.17107v1
• Date: Tue, 28 Nov 2023 10:26:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 00:09:01.753907
• Title: ClimateX: Do LLMs Accurately Assess Human Expert Confidence in Climate Statements?
• Title（参考訳）: climatex: llmは、気候条件に対する人間の専門家の信頼度を正確に評価するのか?
• Authors: Romain Lacombe, Kerrie Wu, Eddie Dilworth
• Abstract要約: 気候ステートメントにおけるエキスパート信頼度(Expert Confidence in Climate Statements, ClimateX)データセットは,8094気候ステートメントからなる,新規でキュレートされた専門家ラベル付きデータセットである。 このデータセットを用いて,近年のLarge Language Models (LLMs) は,気候関連文における人間の専門家の信頼度を分類できることを示す。 全体として、モデルは、低信頼と中自信のステートメントに一貫性があり、重要な自信を示します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating the accuracy of outputs generated by Large Language Models (LLMs) is especially important in the climate science and policy domain. We introduce the Expert Confidence in Climate Statements (ClimateX) dataset, a novel, curated, expert-labeled dataset consisting of 8094 climate statements collected from the latest Intergovernmental Panel on Climate Change (IPCC) reports, labeled with their associated confidence levels. Using this dataset, we show that recent LLMs can classify human expert confidence in climate-related statements, especially in a few-shot learning setting, but with limited (up to 47%) accuracy. Overall, models exhibit consistent and significant over-confidence on low and medium confidence statements. We highlight implications of our results for climate communication, LLMs evaluation strategies, and the use of LLMs in information retrieval systems.
• Abstract（参考訳）: 大言語モデル(llms)が生成する出力の正確性を評価することは、気候科学および政策分野において特に重要である。 気候変動に関する最新の政府間パネル(IPCC)レポートから収集された8094の気候ステートメントからなる,新規でキュレートされた専門家ラベル付きデータセットであるClimateX(Expert Confidence in Climate Statements)データセットを紹介する。 このデータセットを用いて,最近のllmでは,気候関連文に対する人間専門家の信頼度,特に数回の学習環境において,限定的(最大47%)の精度で分類可能であることを示した。 全体として、モデルは、低信頼と中自信のステートメントに一貫性があり、重要な自信を示す。 我々は,気候情報通信,LCM評価戦略,情報検索システムにおけるLSMの利用について,その意義を強調した。

関連論文リスト

• Exploring Large Language Models for Climate Forecasting [5.25781442142288]
  大規模言語モデル(LLM)は、複雑な気候データと一般大衆の間のギャップを埋めるための有望なアプローチを示す。 本研究は, 短期(15日) および長期(12カ月) の降雨予測におけるGPT-4の有効性について検討した。
  論文  参考訳（メタデータ） (2024-11-20T21:58:19Z)
• ClimaQA: An Automated Evaluation Framework for Climate Foundation Models [38.05357439484919]
  気候学者と大学院の教科書から質問応答ペアを生成する自動化フレームワークであるClimaGenを開発した。 気候科学のための大規模で総合的な総合的なQAデータセットであるClimaQA-Silverとともに、専門家による注釈付きベンチマークデータセットであるClimaQA-Goldを提示する。
  論文  参考訳（メタデータ） (2024-10-22T05:12:19Z)
• LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
  大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。 この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。 本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T01:37:29Z)
• Unlearning Climate Misinformation in Large Language Models [17.95497650321137]
  気候変動に関する誤報は、人類にとって最も深刻な脅威の1つに対処する上で、重要な障害となっている。 本稿では,気候情報に関する大規模言語モデル(LLM)の事実的精度について検討する。
  論文  参考訳（メタデータ） (2024-05-29T23:11:53Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• Climate Change from Large Language Models [7.190384101545232]
  気候変動は重大な問題を引き起こし、広範囲の理解と低炭素のライフスタイルの認識を必要としている。 大規模言語モデル(LLM)はこの危機に対処するための強力なツールを提供する。 本稿では,気候危機知識を評価するための自動評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T09:26:46Z)
• Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM [77.17254959695218]
  ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。 我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。 本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
  論文  参考訳（メタデータ） (2023-12-14T22:04:07Z)
• Enhancing Large Language Models with Climate Resources [5.2677629053588895]
  大規模言語モデル(LLM)は、人間のようなテキストを生成する能力を示すことによって、人工知能のランドスケープを変革した。 しかし、彼らはしばしば不正確な言語を使うが、それは気候変動など、正確性が重要である領域では有害である。 本研究では,複数のソースにアクセスするエージェントとしてLLMの可能性を活かすために,近年のアイデアを活用している。 本研究では,ClimateWatchから放射データを取得するプロトタイプエージェントを用いて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-03-31T20:24:14Z)
• Analyzing Sustainability Reports Using Natural Language Processing [68.8204255655161]
  近年、企業は環境への影響を緩和し、気候変動の状況に適応することを目指している。 これは、環境・社会・ガバナンス(ESG)の傘下にある様々な種類の気候リスクと暴露を網羅する、ますます徹底した報告を通じて報告されている。 本稿では,本稿で開発したツールと方法論について紹介する。
  論文  参考訳（メタデータ） (2020-11-03T21:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。