論文の概要: Unlearning Climate Misinformation in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.19563v1
• Date: Wed, 29 May 2024 23:11:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 18:46:29.884713
• Title: Unlearning Climate Misinformation in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける未学習の気候誤報
• Authors: Michael Fore, Simranjit Singh, Chaehong Lee, Amritanshu Pandey, Antonios Anastasopoulos, Dimitrios Stamoulis,
• Abstract要約: 気候変動に関する誤報は、人類にとって最も深刻な脅威の1つに対処する上で、重要な障害となっている。 本稿では,気候情報に関する大規模言語モデル(LLM)の事実的精度について検討する。
• 参考スコア（独自算出の注目度）: 17.95497650321137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Misinformation regarding climate change is a key roadblock in addressing one of the most serious threats to humanity. This paper investigates factual accuracy in large language models (LLMs) regarding climate information. Using true/false labeled Q&A data for fine-tuning and evaluating LLMs on climate-related claims, we compare open-source models, assessing their ability to generate truthful responses to climate change questions. We investigate the detectability of models intentionally poisoned with false climate information, finding that such poisoning may not affect the accuracy of a model's responses in other domains. Furthermore, we compare the effectiveness of unlearning algorithms, fine-tuning, and Retrieval-Augmented Generation (RAG) for factually grounding LLMs on climate change topics. Our evaluation reveals that unlearning algorithms can be effective for nuanced conceptual claims, despite previous findings suggesting their inefficacy in privacy contexts. These insights aim to guide the development of more factually reliable LLMs and highlight the need for additional work to secure LLMs against misinformation attacks.
• Abstract（参考訳）: 気候変動に関する誤報は、人類にとって最も深刻な脅威の1つに対処する上で、重要な障害となっている。 本稿では,気候情報に関する大規模言語モデル(LLM)の事実的精度について検討する。 実/偽ラベル付きQ&Aデータを用いて、気候変動問題に対する真正な応答を生成できるオープンソースモデルを比較し、気候変動に関する主張を微調整し評価する。 本研究は, 意図的に偽の気候情報に汚染されたモデルの検出可能性について検討し, 他領域におけるモデル応答の精度には影響しないことを示した。 さらに, 未学習アルゴリズム, 微調整, 検索・拡張生成(RAG)の有効性を, 気候変動トピックに基づく現実的なLLMの有効性と比較した。 評価の結果, 未学習アルゴリズムは, プライバシの文脈における非効率性を示唆する以前の知見にもかかわらず, 曖昧な概念的主張に対して有効であることが明らかとなった。 これらの知見は、より現実的に信頼性の高いLLMの開発を導くことを目的としており、誤情報攻撃に対するLLMの安全性を確保するための追加作業の必要性を強調している。

関連論文リスト

• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• Common errors in Generative AI systems used for knowledge extraction in the climate action domain [0.0]
  大規模言語モデル(LLM)およびより具体的には、生成事前訓練変換器(GPT)は、気候行動のステークホルダーがデジタル知識ベースを探索し、持続可能な方法で気候行動知識を抽出し活用するのに役立つ。 LLMは「知識基盤の確率論的モデル」であり、説得力のあるテキストを生成するのに優れるが、生成した情報の確率的性質のために完全に信頼できない。
  論文  参考訳（メタデータ） (2024-02-01T18:17:29Z)
• Climate Change from Large Language Models [7.190384101545232]
  気候変動は重大な問題を引き起こし、広範囲の理解と低炭素のライフスタイルの認識を必要としている。 大規模言語モデル(LLM)はこの危機に対処するための強力なツールを提供する。 本稿では,気候危機知識を評価するための自動評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T09:26:46Z)
• Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM [77.17254959695218]
  ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。 我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。 本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
  論文  参考訳（メタデータ） (2023-12-14T22:04:07Z)
• ClimateX: Do LLMs Accurately Assess Human Expert Confidence in Climate Statements? [0.0]
  気候ステートメントにおけるエキスパート信頼度(Expert Confidence in Climate Statements, ClimateX)データセットは,8094気候ステートメントからなる,新規でキュレートされた専門家ラベル付きデータセットである。 このデータセットを用いて,近年のLarge Language Models (LLMs) は,気候関連文における人間の専門家の信頼度を分類できることを示す。 全体として、モデルは、低信頼と中自信のステートメントに一貫性があり、重要な自信を示します。
  論文  参考訳（メタデータ） (2023-11-28T10:26:57Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)
• Enhancing Large Language Models with Climate Resources [5.2677629053588895]
  大規模言語モデル(LLM)は、人間のようなテキストを生成する能力を示すことによって、人工知能のランドスケープを変革した。 しかし、彼らはしばしば不正確な言語を使うが、それは気候変動など、正確性が重要である領域では有害である。 本研究では,複数のソースにアクセスするエージェントとしてLLMの可能性を活かすために,近年のアイデアを活用している。 本研究では,ClimateWatchから放射データを取得するプロトタイプエージェントを用いて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-03-31T20:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。