論文の概要: Do LLMs Know about Hallucination? An Empirical Investigation of LLM's Hidden States

• arxiv url: http://arxiv.org/abs/2402.09733v1
• Date: Thu, 15 Feb 2024 06:14:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 16:53:35.251566
• Title: Do LLMs Know about Hallucination? An Empirical Investigation of LLM's Hidden States
• Title（参考訳）: LLMは幻覚を知っていますか? LLMの隠れ状態に関する実証的研究
• Authors: Hanyu Duan, Yi Yang, Kar Yan Tam
• Abstract要約: 大きな言語モデル(LLM)は、現実ではない答えを補うことができ、幻覚として知られている。 本研究の目的は, LLM が幻覚をどの程度認識しているか, どのように, どの程度の程度で確認することである。
• 参考スコア（独自算出の注目度）: 19.343629282494774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) can make up answers that are not real, and this is known as hallucination. This research aims to see if, how, and to what extent LLMs are aware of hallucination. More specifically, we check whether and how an LLM reacts differently in its hidden states when it answers a question right versus when it hallucinates. To do this, we introduce an experimental framework which allows examining LLM's hidden states in different hallucination situations. Building upon this framework, we conduct a series of experiments with language models in the LLaMA family (Touvron et al., 2023). Our empirical findings suggest that LLMs react differently when processing a genuine response versus a fabricated one. We then apply various model interpretation techniques to help understand and explain the findings better. Moreover, informed by the empirical observations, we show great potential of using the guidance derived from LLM's hidden representation space to mitigate hallucination. We believe this work provides insights into how LLMs produce hallucinated answers and how to make them occur less often.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、現実ではない答えを補うことができ、幻覚として知られている。 本研究の目的は, LLM が幻覚をどの程度認識しているか, どのように, どの程度の程度で確認することである。 より具体的には、LLMが隠れた状態でどのように反応するかを、その答えが正解する時と幻覚する時とで確認する。 そこで本研究では,異なる幻覚条件下でllmの隠れ状態を調べるための実験フレームワークを提案する。 この枠組みに基づいて,llamaファミリーにおける言語モデルを用いた一連の実験を行った(touvron et al., 2023)。 実験結果から,LLMは本物の反応を処理する場合と製造時の反応が異なることが示唆された。 次に,実験結果の理解と説明に様々なモデル解釈手法を適用した。 さらに, 実証観測により, LLMの隠れ表現空間から誘導される誘導を用いて幻覚を緩和する可能性が示唆された。 この研究は、LLMが幻覚的な回答をいかに生み出すか、その頻度を下げる方法についての洞察を与えてくれると信じています。

関連論文リスト

• MedHalu: Hallucinations in Responses to Healthcare Queries by Large Language Models [26.464489158584463]
  患者からのリアルタイム医療クエリに対するLCM生成反応における幻覚の先駆的な研究を行う。 MedHaluは、健康関連トピックが多種多様である、注意深く構築された医療幻覚データセットである。 MedHaluDetect フレームワークを導入し,幻覚検出における様々な LLM の機能を評価する。
  論文  参考訳（メタデータ） (2024-09-29T00:09:01Z)
• Look Within, Why LLMs Hallucinate: A Causal Perspective [16.874588396996764]
  大規模言語モデル(LLM)は、生成人工知能のマイルストーンであり、テキスト理解と生成タスクにおいて大きな成功を収めている。 LLMは深刻な幻覚障害に悩まされ、LLMの実用化に重大な課題が生じた。 LLMの自己注意層に介入し,その構造とサイズをそのまま維持する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-14T10:47:44Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
  人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
  論文  参考訳（メタデータ） (2024-07-03T17:08:52Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Hallucination is Inevitable: An Innate Limitation of Large Language Models [3.8711997449980844]
  大規模言語モデルでは幻覚を除去することは不可能である。 フォーマルな世界は現実の世界の一部であり、より複雑であるため、幻覚は現実世界のLLMにも必然的である。
  論文  参考訳（メタデータ） (2024-01-22T10:26:14Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions [40.79317187623401]
  大規模言語モデル(LLM)の出現は、自然言語処理(NLP)において大きなブレークスルーとなった。 LLMは幻覚を起こす傾向があり、可視だが非現実的な内容を生成する。 この現象は、実世界の情報検索システムにおけるLCMの信頼性に対する重大な懸念を引き起こす。
  論文  参考訳（メタデータ） (2023-11-09T09:25:37Z)
• Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
  LVLM(Large Vision-Language Models)は近年大きな成功を収めている。 LVLMは今でも幻覚に悩まされている。 幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
  論文  参考訳（メタデータ） (2023-08-29T08:51:24Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。