論文の概要: The HalluRAG Dataset: Detecting Closed-Domain Hallucinations in RAG Applications Using an LLM's Internal States

• arxiv url: http://arxiv.org/abs/2412.17056v1
• Date: Sun, 22 Dec 2024 15:08:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:34.933504
• Title: The HalluRAG Dataset: Detecting Closed-Domain Hallucinations in RAG Applications Using an LLM's Internal States
• Title（参考訳）: HalluRAGデータセット: LLMの内部状態を用いたRAG応用における閉領域幻覚の検出
• Authors: Fabian Ridder, Malte Schilling,
• Abstract要約: 我々は、トレーニングで使われていない情報を含む幻覚に焦点を当て、それは、カットオフ後の情報を確実にするために、正確性を用いて決定する。 本研究では,様々な言語モデルの内部状態を用いて,これらの幻覚を文レベルで検出する。 以上の結果から,IAVはCEVと同じくらい効果的に幻覚を検知し,解答可能なプロンプトと解答不能なプロンプトは別個の分類器としてコード化されていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.5573267589690007
• License:
• Abstract: Detecting hallucinations in large language models (LLMs) is critical for enhancing their reliability and trustworthiness. Most research focuses on hallucinations as deviations from information seen during training. However, the opaque nature of an LLM's parametric knowledge complicates the understanding of why generated texts appear ungrounded: The LLM might not have picked up the necessary knowledge from large and often inaccessible datasets, or the information might have been changed or contradicted during further training. Our focus is on hallucinations involving information not used in training, which we determine by using recency to ensure the information emerged after a cut-off date. This study investigates these hallucinations by detecting them at sentence level using different internal states of various LLMs. We present HalluRAG, a dataset designed to train classifiers on these hallucinations. Depending on the model and quantization, MLPs trained on HalluRAG detect hallucinations with test accuracies ranging up to 75 %, with Mistral-7B-Instruct-v0.1 achieving the highest test accuracies. Our results show that IAVs detect hallucinations as effectively as CEVs and reveal that answerable and unanswerable prompts are encoded differently as separate classifiers for these categories improved accuracy. However, HalluRAG showed some limited generalizability, advocating for more diversity in datasets on hallucinations.
• Abstract（参考訳）: 大きな言語モデル(LLM)における幻覚の検出は、その信頼性と信頼性を高めるために重要である。 ほとんどの研究は、訓練中に見られる情報からの逸脱として幻覚に焦点を当てている。 しかし、LLMのパラメトリック知識の不透明な性質は、なぜ生成されたテキストが地下に現れるのかを理解することを複雑にしている。 我々の焦点は、トレーニングで使われていない情報を含む幻覚であり、それは、カットオフ後の情報を確実にするために、正確性を用いて決定する。 本研究は, 種々のLLMの内部状態を用いて, これらの幻覚を文レベルで検出することにより検討する。 本稿では、これらの幻覚の分類器を訓練するためのデータセットであるHaluRAGを紹介する。 モデルと量子化によって、HuraRAGで訓練されたMPPは、最大75%の検査精度で幻覚を検知し、Mistral-7B-Instruct-v0.1は最も高い試験精度を達成した。 以上の結果から,IAVはCEVと同じくらい効果的に幻覚を検知し,解答可能なプロンプトと解答不能なプロンプトが,これらのカテゴリの別分類器として異なるエンコードされていることが明らかとなった。 しかし、ハルーラグはいくつかの限定的な一般化可能性を示し、幻覚に関するデータセットの多様性を提唱した。

関連論文リスト

• ReDeEP: Detecting Hallucination in Retrieval-Augmented Generation via Mechanistic Interpretability [27.325766792146936]
  パラメトリック(内部)知識の不足によって引き起こされる幻覚。 このような幻覚を検出するには、Large Language Models (LLM) が外部とパラメトリックの知識をどのように利用するかを理解する必要がある。 本稿では,LLMの外部文脈とパラメトリック知識を分離して幻覚を検出する手法であるReDeEPを提案する。
  論文  参考訳（メタデータ） (2024-10-15T09:02:09Z)
• HaloScope: Harnessing Unlabeled LLM Generations for Hallucination Detection [55.596406899347926]
  HaloScopeは、幻覚検出のために、未ラベルの大規模言語モデルを活用する新しい学習フレームワークである。 未ラベル混合データ中の真偽と非真偽の世代を区別する自動会員推定スコアを提案する。 実験により、HaloScopeはより優れた幻覚検出性能を達成でき、競争相手よりもかなりの差で勝っていることが示された。
  論文  参考訳（メタデータ） (2024-09-26T03:22:09Z)
• Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability [83.0884072598828]
  幻覚は多くの形式があり、普遍的に受け入れられる定義はない。 トレーニングセットにおいて、正しい回答が冗長に現れるような幻覚のみを研究することに集中する。 固定されたデータセットの場合、より大きく長く訓練されたLMは幻覚を少なくする。 固定されたLMの出力の検出器サイズが向上するのに対して、LMのスケールと幻覚の検出可能性との間には逆の関係がある。
  論文  参考訳（メタデータ） (2024-08-14T23:34:28Z)
• Mitigating Entity-Level Hallucination in Large Language Models [11.872916697604278]
  本稿では,大規模言語モデル(LLM)における幻覚の検出・緩和手法として,幻覚検出(DRAD)に基づく動的検索拡張を提案する。 実験の結果,LDMにおける幻覚の検出と緩和の両面において,DRADは優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-12T16:47:34Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。