論文の概要: Enhancing LLMs for Governance with Human Oversight: Evaluating and Aligning LLMs on Expert Classification of Climate Misinformation for Detecting False or Misleading Claims about Climate Change

• arxiv url: http://arxiv.org/abs/2501.13802v1
• Date: Thu, 23 Jan 2025 16:21:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:58:50.368676
• Title: Enhancing LLMs for Governance with Human Oversight: Evaluating and Aligning LLMs on Expert Classification of Climate Misinformation for Detecting False or Misleading Claims about Climate Change
• Title（参考訳）: 人的監督によるガバナンスのためのLCMの強化:気候変動に関する虚偽や誤認を検知するための気候誤報の専門的分類に基づくLCMの評価と調整
• Authors: Mowafak Allaham, Ayse D. Lokmanoglu, Sol P. Hart, Erik C. Nisbet,
• Abstract要約: 気候の誤報は、大規模言語モデル(LLM)の開発によって著しく悪化する可能性がある問題である。 本研究では, LLMが問題ではなく, オンラインの偽情報の緩和に有効である可能性を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Climate misinformation is a problem that has the potential to be substantially aggravated by the development of Large Language Models (LLMs). In this study we evaluate the potential for LLMs to be part of the solution for mitigating online dis/misinformation rather than the problem. Employing a public expert annotated dataset and a curated sample of social media content we evaluate the performance of proprietary vs. open source LLMs on climate misinformation classification task, comparing them to existing climate-focused computer-assisted tools and expert assessments. Results show (1) state-of-the-art (SOTA) open-source models substantially under-perform in classifying climate misinformation compared to proprietary models, (2) existing climate-focused computer-assisted tools leveraging expert-annotated datasets continues to outperform many of proprietary models, including GPT-4o, and (3) demonstrate the efficacy and generalizability of fine-tuning GPT-3.5-turbo on expert annotated dataset in classifying claims about climate change at the equivalency of climate change experts with over 20 years of experience in climate communication. These findings highlight 1) the importance of incorporating human-oversight, such as incorporating expert-annotated datasets in training LLMs, for governance tasks that require subject-matter expertise like classifying climate misinformation, and 2) the potential for LLMs in facilitating civil society organizations to engage in various governance tasks such as classifying false or misleading claims in domains beyond climate change such as politics and health science.
• Abstract（参考訳）: 気候の誤報は、LLM(Large Language Models)の開発によって著しく悪化する可能性がある問題である。 本研究では, LLMが問題ではなく, オンラインの偽情報の緩和に有効である可能性を評価する。 公開専門家アノテートデータセットとソーシャルメディアコンテンツのキュレートされたサンプルを用いて、気候情報分類タスクにおけるプロプライエタリとオープンソースLLMのパフォーマンスを評価し、既存の気候に焦点を当てたコンピュータ支援ツールやエキスパートアセスメントと比較した。 その結果,(1) 専門モデルと比較して, 気候変動の誤報の分類において, (1) 最先端(SOTA) オープンソースモデルの性能が著しく低いこと,(2) 専門家による注釈付きデータセットを活用した既存の気候支援ツールが, GPT-4o を含む多くのプロプライエタリモデルよりも優れていること,(3) 気候変動専門家の20年以上の経験を持つ気候変動専門家の同等性において, 気候変動に関する主張を分類する上で, 微調整型 GPT-3.5-turbo の有効性と一般化性が示された。 これらの発見のハイライト 1 気候誤報の分類等の主観的専門知識を必要とするガバナンス業務において、LDMの訓練に専門家指定データセットを取り入れること等、人為的監督を取り入れることの重要性。 2) LLMが、政治や健康科学といった気候変動以外の領域における虚偽の主張や誤解を招く主張を分類するなど、民間社会団体が様々なガバナンス業務に携わることを促進する可能性。

関連論文リスト

• Exploring Large Language Models for Climate Forecasting [5.25781442142288]
  大規模言語モデル(LLM)は、複雑な気候データと一般大衆の間のギャップを埋めるための有望なアプローチを示す。 本研究は, 短期(15日) および長期(12カ月) の降雨予測におけるGPT-4の有効性について検討した。
  論文  参考訳（メタデータ） (2024-11-20T21:58:19Z)
• Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
  CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。 提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。 実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
  論文  参考訳（メタデータ） (2024-10-30T17:35:44Z)
• Unlearning Climate Misinformation in Large Language Models [17.95497650321137]
  気候変動に関する誤報は、人類にとって最も深刻な脅威の1つに対処する上で、重要な障害となっている。 本稿では,気候情報に関する大規模言語モデル(LLM)の事実的精度について検討する。
  論文  参考訳（メタデータ） (2024-05-29T23:11:53Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• Climate Change from Large Language Models [7.190384101545232]
  気候変動は重大な問題を引き起こし、広範囲の理解と低炭素のライフスタイルの認識を必要としている。 大規模言語モデル(LLM)はこの危機に対処するための強力なツールを提供する。 本稿では,気候危機知識を評価するための自動評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T09:26:46Z)
• Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM [77.17254959695218]
  ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。 我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。 本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
  論文  参考訳（メタデータ） (2023-12-14T22:04:07Z)
• ClimateX: Do LLMs Accurately Assess Human Expert Confidence in Climate Statements? [0.0]
  気候ステートメントにおけるエキスパート信頼度(Expert Confidence in Climate Statements, ClimateX)データセットは,8094気候ステートメントからなる,新規でキュレートされた専門家ラベル付きデータセットである。 このデータセットを用いて,近年のLarge Language Models (LLMs) は,気候関連文における人間の専門家の信頼度を分類できることを示す。 全体として、モデルは、低信頼と中自信のステートメントに一貫性があり、重要な自信を示します。
  論文  参考訳（メタデータ） (2023-11-28T10:26:57Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)
• Enhancing Large Language Models with Climate Resources [5.2677629053588895]
  大規模言語モデル(LLM)は、人間のようなテキストを生成する能力を示すことによって、人工知能のランドスケープを変革した。 しかし、彼らはしばしば不正確な言語を使うが、それは気候変動など、正確性が重要である領域では有害である。 本研究では,複数のソースにアクセスするエージェントとしてLLMの可能性を活かすために,近年のアイデアを活用している。 本研究では,ClimateWatchから放射データを取得するプロトタイプエージェントを用いて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-03-31T20:24:14Z)
• Analyzing Sustainability Reports Using Natural Language Processing [68.8204255655161]
  近年、企業は環境への影響を緩和し、気候変動の状況に適応することを目指している。 これは、環境・社会・ガバナンス(ESG)の傘下にある様々な種類の気候リスクと暴露を網羅する、ますます徹底した報告を通じて報告されている。 本稿では,本稿で開発したツールと方法論について紹介する。
  論文  参考訳（メタデータ） (2020-11-03T21:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。