論文の概要: LLM Internal States Reveal Hallucination Risk Faced With a Query

• arxiv url: http://arxiv.org/abs/2407.03282v2
• Date: Sun, 29 Sep 2024 13:05:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:00:15.099384
• Title: LLM Internal States Reveal Hallucination Risk Faced With a Query
• Title（参考訳）: LLM内務省、幻覚のリスクを調査-調査
• Authors: Ziwei Ji, Delong Chen, Etsuko Ishii, Samuel Cahyawijaya, Yejin Bang, Bryan Wilie, Pascale Fung,
• Abstract要約: 人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
• 参考スコア（独自算出の注目度）: 62.29558761326031
• License:
• Abstract: The hallucination problem of Large Language Models (LLMs) significantly limits their reliability and trustworthiness. Humans have a self-awareness process that allows us to recognize what we don't know when faced with queries. Inspired by this, our paper investigates whether LLMs can estimate their own hallucination risk before response generation. We analyze the internal mechanisms of LLMs broadly both in terms of training data sources and across 15 diverse Natural Language Generation (NLG) tasks, spanning over 700 datasets. Our empirical analysis reveals two key insights: (1) LLM internal states indicate whether they have seen the query in training data or not; and (2) LLM internal states show they are likely to hallucinate or not regarding the query. Our study explores particular neurons, activation layers, and tokens that play a crucial role in the LLM perception of uncertainty and hallucination risk. By a probing estimator, we leverage LLM self-assessment, achieving an average hallucination estimation accuracy of 84.32\% at run time.
• Abstract（参考訳）: 大言語モデル(LLM)の幻覚問題は、その信頼性と信頼性を著しく制限する。 人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 そこで本研究では, LLM が応答発生前の幻覚リスクを推定できるかどうかを考察した。 我々は、LLMの内部メカニズムを、トレーニングデータソースと、700以上のデータセットにまたがる15の多様な自然言語生成(NLG)タスクの両方で広く分析する。 LLMの内部状態は、トレーニングデータでクエリを見たかどうかを示し、LLM内部状態は、クエリについて幻覚するかどうかを示す。 我々の研究は、不確実性と幻覚リスクのLLM知覚において重要な役割を果たす特定のニューロン、活性化層、トークンを探索する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32\%を達成する。

関連論文リスト

• Look Within, Why LLMs Hallucinate: A Causal Perspective [16.874588396996764]
  大規模言語モデル(LLM)は、生成人工知能のマイルストーンであり、テキスト理解と生成タスクにおいて大きな成功を収めている。 LLMは深刻な幻覚障害に悩まされ、LLMの実用化に重大な課題が生じた。 LLMの自己注意層に介入し,その構造とサイズをそのまま維持する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-14T10:47:44Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Unsupervised Real-Time Hallucination Detection based on the Internal States of Large Language Models [12.27217471495276]
  大型言語モデル(LLM)における幻覚は、一貫性はあるが事実的に不正確な応答を生成する。 我々は、リアルタイム幻覚検出にLLMの内部状態を活用する教師なしのトレーニングフレームワークであるMINDを提案する。 また,複数のLLMを対象とした幻覚検出のための新しいベンチマークであるHELMを提案する。
  論文  参考訳（メタデータ） (2024-03-11T05:51:03Z)
• InterrogateLLM: Zero-Resource Hallucination Detection in LLM-Generated Answers [12.427232123205671]
  大きな言語モデル(LLM)は、現実的に聞こえる答えを発明するが、現実の真実から遠ざかる。 本稿では,大規模言語モデルにおける幻覚検出手法を提案する。 実験では,Llama-2に対する87%の幻覚が観察され,その際,外部知識に頼らずに81%のバランス精度が得られた。
  論文  参考訳（メタデータ） (2024-03-05T11:50:01Z)
• When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
  大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。 Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。 本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T04:57:19Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。