論文の概要: ClimateX: Do LLMs Accurately Assess Human Expert Confidence in Climate
Statements?
- arxiv url: http://arxiv.org/abs/2311.17107v1
- Date: Tue, 28 Nov 2023 10:26:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 00:09:01.753907
- Title: ClimateX: Do LLMs Accurately Assess Human Expert Confidence in Climate
Statements?
- Title(参考訳): climatex: llmは、気候条件に対する人間の専門家の信頼度を正確に評価するのか?
- Authors: Romain Lacombe, Kerrie Wu, Eddie Dilworth
- Abstract要約: 気候ステートメントにおけるエキスパート信頼度(Expert Confidence in Climate Statements, ClimateX)データセットは,8094気候ステートメントからなる,新規でキュレートされた専門家ラベル付きデータセットである。
このデータセットを用いて,近年のLarge Language Models (LLMs) は,気候関連文における人間の専門家の信頼度を分類できることを示す。
全体として、モデルは、低信頼と中自信のステートメントに一貫性があり、重要な自信を示します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating the accuracy of outputs generated by Large Language Models (LLMs)
is especially important in the climate science and policy domain. We introduce
the Expert Confidence in Climate Statements (ClimateX) dataset, a novel,
curated, expert-labeled dataset consisting of 8094 climate statements collected
from the latest Intergovernmental Panel on Climate Change (IPCC) reports,
labeled with their associated confidence levels. Using this dataset, we show
that recent LLMs can classify human expert confidence in climate-related
statements, especially in a few-shot learning setting, but with limited (up to
47%) accuracy. Overall, models exhibit consistent and significant
over-confidence on low and medium confidence statements. We highlight
implications of our results for climate communication, LLMs evaluation
strategies, and the use of LLMs in information retrieval systems.
- Abstract(参考訳): 大言語モデル(llms)が生成する出力の正確性を評価することは、気候科学および政策分野において特に重要である。
気候変動に関する最新の政府間パネル(IPCC)レポートから収集された8094の気候ステートメントからなる,新規でキュレートされた専門家ラベル付きデータセットであるClimateX(Expert Confidence in Climate Statements)データセットを紹介する。
このデータセットを用いて,最近のllmでは,気候関連文に対する人間専門家の信頼度,特に数回の学習環境において,限定的(最大47%)の精度で分類可能であることを示した。
全体として、モデルは、低信頼と中自信のステートメントに一貫性があり、重要な自信を示す。
我々は,気候情報通信,LCM評価戦略,情報検索システムにおけるLSMの利用について,その意義を強調した。
関連論文リスト
- KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large
Language Models [55.8717261687206]
KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。
動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。
5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
論文 参考訳(メタデータ) (2024-02-23T01:30:39Z) - TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。
本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
論文 参考訳(メタデータ) (2024-02-19T21:12:14Z) - Large Language Models are Geographically Biased [51.37609528538606]
我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。
我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
論文 参考訳(メタデータ) (2024-02-05T02:32:09Z) - Climate Change from Large Language Models [8.494486294323282]
我々は、データ合成と手作業によるコレクションを組み合わせて、多様な質問をコンパイルするハイブリッドなアプローチを採用しています。
これらの質問は、その原因、影響、緩和戦略、適応対策など、気候変動の様々な側面をカバーしている。
次に、収集した質問と生成した回答に基づいて、迅速なエンジニアリングを通じてモデル知識を評価する。
論文 参考訳(メタデータ) (2023-12-19T09:26:46Z) - Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored
Arabic LLM [77.17254959695218]
ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。
我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。
本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
論文 参考訳(メタデータ) (2023-12-14T22:04:07Z) - Assessing Large Language Models on Climate Information [5.224074944044795]
本稿では,科学コミュニケーションの原則を基礎として,大規模言語モデル解析のための総合的な評価フレームワークを提案する。
我々のフレームワークは、LLM世代を詳細に分析する上で、提示と回答の妥当性の両方を強調している。
このタスクは、AIが人間のパフォーマンスを補完し、引き上げることのできる、ますます困難な問題の実例だ。
論文 参考訳(メタデータ) (2023-10-04T16:09:48Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳(メタデータ) (2023-06-23T17:59:09Z) - Enhancing Large Language Models with Climate Resources [5.2677629053588895]
大規模言語モデル(LLM)は、人間のようなテキストを生成する能力を示すことによって、人工知能のランドスケープを変革した。
しかし、彼らはしばしば不正確な言語を使うが、それは気候変動など、正確性が重要である領域では有害である。
本研究では,複数のソースにアクセスするエージェントとしてLLMの可能性を活かすために,近年のアイデアを活用している。
本研究では,ClimateWatchから放射データを取得するプロトタイプエージェントを用いて,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-03-31T20:24:14Z) - CLIMATE-FEVER: A Dataset for Verification of Real-World Climate Claims [4.574830585715129]
気候変動関連クレームを検証するための新しいデータセットであるCLIMATE-FEVERを紹介する。
人工的に設計されたクレームの最大のデータセットであるFEVER [1]の方法論を,インターネットから収集した実生活クレームに適用する。
我々は、textscfeverフレームワーク内での現実世界の気候関連クレームをモデル化する、驚くべき、微妙な複雑さについて論じる。
論文 参考訳(メタデータ) (2020-12-01T16:32:54Z) - Analyzing Sustainability Reports Using Natural Language Processing [68.8204255655161]
近年、企業は環境への影響を緩和し、気候変動の状況に適応することを目指している。
これは、環境・社会・ガバナンス(ESG)の傘下にある様々な種類の気候リスクと暴露を網羅する、ますます徹底した報告を通じて報告されている。
本稿では,本稿で開発したツールと方法論について紹介する。
論文 参考訳(メタデータ) (2020-11-03T21:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。