論文の概要: How Language Model Hallucinations Can Snowball

• arxiv url: http://arxiv.org/abs/2305.13534v1
• Date: Mon, 22 May 2023 23:14:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 20:10:23.796529
• Title: How Language Model Hallucinations Can Snowball
• Title（参考訳）: 言語モデル幻覚は雪玉にどのように役立つか
• Authors: Muru Zhang, Ofir Press, William Merrill, Alisa Liu, Noah A. Smith
• Abstract要約: 言語モデルを用いた実践的な応用の大きなリスクは、誤った文を幻覚させる傾向があることである。 本稿では,ChatGPT と GPT-4 の3つのデータセットを構築した。 その結果,ChatGPTとGPT-4はそれぞれの誤りの67%と87%を識別できることがわかった。
• 参考スコア（独自算出の注目度）: 42.80069385873057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major risk of using language models in practical applications is their tendency to hallucinate incorrect statements. Hallucinations are often attributed to knowledge gaps in LMs, but we hypothesize that in some cases, when justifying previously generated hallucinations, LMs output false claims that they can separately recognize as incorrect. We construct three question-answering datasets where ChatGPT and GPT-4 often state an incorrect answer and offer an explanation with at least one incorrect claim. Crucially, we find that ChatGPT and GPT-4 can identify 67% and 87% of their own mistakes, respectively. We refer to this phenomenon as hallucination snowballing: an LM over-commits to early mistakes, leading to more mistakes that it otherwise would not make.
• Abstract（参考訳）: 言語モデルを実践的に使用する大きなリスクは、誤った文を幻覚させる傾向にある。 幻覚はしばしばlmsの知識のギャップに起因するが、ある場合において、以前に生成された幻覚を正当化すると、lmsは別々に誤認識できるという虚偽の主張を出力すると仮定する。 chatgpt と gpt-4 はしばしば不正確な答えを述べ、少なくとも1つの不正確な主張で説明を提供する3つの質問応答データセットを構築した。 重要なことに、ChatGPTとGPT-4はそれぞれの誤りの67%と87%を識別できる。 私たちはこの現象を幻覚雪玉 (hallucination snowballing) と呼んでいる。

関連論文リスト

• FaithBench: A Diverse Hallucination Benchmark for Summarization by Modern LLMs [2.871226288151562]
  本稿では,10の現代LSMによる難解な幻覚を含む要約幻覚ベンチマークであるFaithBenchを紹介する。 その結果, GPT-4o と GPT-3.5-Turbo が最も幻覚が少ないことが判明した。 最高の幻覚検出モデルでさえ、FaithBenchには50%近い精度があり、将来の改善の余地がたくさんあることを示している。
  論文  参考訳（メタデータ） (2024-10-17T04:30:46Z)
• FG-PRM: Fine-grained Hallucination Detection and Mitigation in Language Model Mathematical Reasoning [10.709365940160685]
  既存のアプローチは、主に幻覚の存在を検知するが、それらのタイプや表現の微妙な理解は欠如している。 数学的推論タスクにおける一般的な幻覚を6つのタイプに分類する包括的分類法を導入する。 次に,FG-PRM(FG-PRM)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T19:25:26Z)
• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• Evaluating Hallucinations in Chinese Large Language Models [65.4771562909392]
  我々は,中国大言語モデルにおける幻覚現象を測定するために,HaluQA(中国語幻覚質問回答)というベンチマークを構築した。 GLM-130B と ChatGPT の2種類の幻覚について考察した。 評価のために,モデル出力が幻覚的かどうかを判定するために,GPT-4を用いた自動評価手法を設計する。
  論文  参考訳（メタデータ） (2023-10-05T07:57:09Z)
• Do Language Models Know When They're Hallucinating References? [30.36532062084063]
  State-of-the-art Language Model (LM) は、幻覚情報を生成するのに非常に敏感である。 我々は、幻覚書や記事参照に焦点をあて、それらを言語モデル幻覚研究の「モデル」として提示する。
  論文  参考訳（メタデータ） (2023-05-29T17:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。