論文の概要: Assessing Large Language Models on Climate Information

• arxiv url: http://arxiv.org/abs/2310.02932v1
• Date: Wed, 4 Oct 2023 16:09:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 14:08:30.833416
• Title: Assessing Large Language Models on Climate Information
• Title（参考訳）: 気候情報に基づく大規模言語モデルの評価
• Authors: Jannis Bulian, Mike S. Sch\"afer, Afra Amini, Heidi Lam, Massimiliano Ciaramita, Ben Gaiarin, Michelle Chen Huebscher, Christian Buck, Niels Mede, Markus Leippold, Nadine Strauss
• Abstract要約: 本稿では,科学コミュニケーションの原則を基礎として,大規模言語モデル解析のための総合的な評価フレームワークを提案する。 我々のフレームワークは、LLM世代を詳細に分析する上で、提示と回答の妥当性の両方を強調している。 このタスクは、AIが人間のパフォーマンスを補完し、引き上げることのできる、ますます困難な問題の実例だ。
• 参考スコア（独自算出の注目度）: 5.224074944044795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how climate change affects us and learning about available solutions are key steps toward empowering individuals and communities to mitigate and adapt to it. As Large Language Models (LLMs) rise in popularity, it is necessary to assess their capability in this domain. In this study, we present a comprehensive evaluation framework, grounded in science communication principles, to analyze LLM responses to climate change topics. Our framework emphasizes both the presentational and epistemological adequacy of answers, offering a fine-grained analysis of LLM generations. Spanning 8 dimensions, our framework discerns up to 30 distinct issues in model outputs. The task is a real-world example of a growing number of challenging problems where AI can complement and lift human performance. We introduce a novel and practical protocol for scalable oversight that uses AI Assistance and relies on raters with relevant educational backgrounds. We evaluate several recent LLMs and conduct a comprehensive analysis of the results, shedding light on both the potential and the limitations of LLMs in the realm of climate communication.
• Abstract（参考訳）: 気候変動が私たちに与える影響を理解し、利用可能なソリューションについて学ぶことは、個人やコミュニティがそれを緩和し適応するための重要なステップです。 大規模言語モデル(llm)の人気が高まるにつれ、このドメインにおけるそれらの能力を評価する必要がある。 本研究では,科学コミュニケーションの原則に基づく総合的な評価枠組みを提案し,気候変動トピックに対するLCM応答の分析を行う。 我々のフレームワークは,LLM世代を詳細に分析し,提示的および認識論的に回答の妥当性を強調した。 8次元にまたがって、我々のフレームワークは最大30個のモデルのアウトプットを識別します。 このタスクは、AIが人間のパフォーマンスを補完し、引き上げることのできる、ますます困難な問題の実例だ。 本稿では,ai支援を活用し,関連する教育的背景を持つ格付け者に依存する,スケーラブルな監視のための新規かつ実用的なプロトコルを提案する。 気候コミュニケーションの領域におけるLSMの可能性と限界の両方に光を当てて、最近のLCMを評価し、その結果を包括的に分析する。

関連論文リスト

• NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
  我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。 我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。 LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
  論文  参考訳（メタデータ） (2024-11-21T01:37:38Z)
• AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
  エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。 CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。 ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
  論文  参考訳（メタデータ） (2024-10-25T17:06:27Z)
• The Future of Learning in the Age of Generative AI: Automated Question Generation and Assessment with Large Language Models [0.0]
  大規模言語モデル(LLM)と生成AIは、自然言語処理(NLP)に革命をもたらした。 本章では,自動質問生成と回答評価におけるLLMの変容の可能性について考察する。
  論文  参考訳（メタデータ） (2024-10-12T15:54:53Z)
• Risks, Causes, and Mitigations of Widespread Deployments of Large Language Models (LLMs): A Survey [0.0]
  大規模言語モデル(LLM)は、テキスト生成、要約、分類において優れた能力を持つ自然言語処理(NLP)を変革した。 彼らの普及は、学術的完全性、著作権、環境への影響、データバイアス、公正性、プライバシといった倫理的考察など、多くの課題をもたらす。 本稿は、Google Scholarから体系的に収集・合成されたこれらの主題に関する文献に関する総合的な調査である。
  論文  参考訳（メタデータ） (2024-08-01T21:21:18Z)
• Unlearning Climate Misinformation in Large Language Models [17.95497650321137]
  気候変動に関する誤報は、人類にとって最も深刻な脅威の1つに対処する上で、重要な障害となっている。 本稿では,気候情報に関する大規模言語モデル(LLM)の事実的精度について検討する。
  論文  参考訳（メタデータ） (2024-05-29T23:11:53Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• Climate Change from Large Language Models [7.190384101545232]
  気候変動は重大な問題を引き起こし、広範囲の理解と低炭素のライフスタイルの認識を必要としている。 大規模言語モデル(LLM)はこの危機に対処するための強力なツールを提供する。 本稿では,気候危機知識を評価するための自動評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T09:26:46Z)
• An Interdisciplinary Outlook on Large Language Models for Scientific Research [3.4108358650013573]
  本稿では,異なる学問分野におけるLarge Language Models(LLM)の機能と制約について述べる。 本稿では, LLM が学術調査の強化を図り, 大量の出版物を要約することで, 文献レビューの促進などの具体的な事例を提示する。 LLMが直面する課題には、広範囲で偏見のあるデータセットへの依存や、それらの使用から生じる潜在的な倫理的ジレンマが含まれる。
  論文  参考訳（メタデータ） (2023-11-03T19:41:09Z)
• A Survey on Evaluation of Large Language Models [87.60417393701331]
  大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。 本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
  論文  参考訳（メタデータ） (2023-07-06T16:28:35Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。