論文の概要: HalluciNot: Hallucination Detection Through Context and Common Knowledge Verification

• arxiv url: http://arxiv.org/abs/2504.07069v1
• Date: Wed, 09 Apr 2025 17:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:07:41.856988
• Title: HalluciNot: Hallucination Detection Through Context and Common Knowledge Verification
• Title（参考訳）: HalluciNot: 文脈と共通知識による幻覚検出
• Authors: Bibek Paudel, Alexander Lyzhov, Preetam Joshi, Puneet Anand,
• Abstract要約: 本稿では,エンタープライズ環境での大規模言語モデル(LLM)出力の幻覚を検出するための総合システムを提案する。 本稿では,企業アプリケーションにおける幻覚に特有なLDM応答の新たな分類法を提案し,それらをコンテキストベース,共通知識,企業固有の,無害な文に分類する。 我々の幻覚検出モデルHDM-2は、文脈と一般的な事実(共通知識)の両方に関してLLM応答を検証する。
• 参考スコア（独自算出の注目度）: 40.69033997154463
• License:
• Abstract: This paper introduces a comprehensive system for detecting hallucinations in large language model (LLM) outputs in enterprise settings. We present a novel taxonomy of LLM responses specific to hallucination in enterprise applications, categorizing them into context-based, common knowledge, enterprise-specific, and innocuous statements. Our hallucination detection model HDM-2 validates LLM responses with respect to both context and generally known facts (common knowledge). It provides both hallucination scores and word-level annotations, enabling precise identification of problematic content. To evaluate it on context-based and common-knowledge hallucinations, we introduce a new dataset HDMBench. Experimental results demonstrate that HDM-2 out-performs existing approaches across RagTruth, TruthfulQA, and HDMBench datasets. This work addresses the specific challenges of enterprise deployment, including computational efficiency, domain specialization, and fine-grained error identification. Our evaluation dataset, model weights, and inference code are publicly available.
• Abstract（参考訳）: 本稿では,エンタープライズ環境での大規模言語モデル(LLM)出力の幻覚を検出するための総合システムを提案する。 本稿では,企業アプリケーションにおける幻覚に特有なLDM応答の新たな分類法を提案し,それらをコンテキストベース,共通知識,企業固有の,無害な文に分類する。 我々の幻覚検出モデルHDM-2は、文脈と一般に知られている事実(共通知識)の両方に関してLLM応答を検証する。 幻覚スコアと単語レベルのアノテーションの両方を提供し、問題のあるコンテンツの正確な識別を可能にする。 文脈ベースおよび共通知識幻覚に基づいて評価するために,新しいデータセット HDMBench を提案する。 実験結果から,HDM-2はRagTruth,TruthfulQA,HDMBenchデータセットにまたがる既存のアプローチよりも優れていた。 この作業は、計算効率、ドメインの特殊化、きめ細かいエラー識別など、企業展開の具体的な課題に対処する。 評価データセット、モデルウェイト、推論コードは公開されています。

関連論文リスト

• FG-PRM: Fine-grained Hallucination Detection and Mitigation in Language Model Mathematical Reasoning [10.709365940160685]
  既存のアプローチは、主に幻覚の存在を検知するが、それらのタイプや表現の微妙な理解は欠如している。 数学的推論タスクにおける一般的な幻覚を6つのタイプに分類する包括的分類法を導入する。 次に,FG-PRM(FG-PRM)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T19:25:26Z)
• Mitigating Entity-Level Hallucination in Large Language Models [11.872916697604278]
  本稿では,大規模言語モデル(LLM)における幻覚の検出・緩和手法として,幻覚検出(DRAD)に基づく動的検索拡張を提案する。 実験の結果,LDMにおける幻覚の検出と緩和の両面において,DRADは優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-12T16:47:34Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Drowzee: Metamorphic Testing for Fact-Conflicting Hallucination Detection in Large Language Models [11.138489774712163]
  我々は、FCH(Fact-Conflicting Hallucinations)の検出のためのメタモルフィックテストを強化するために、論理プログラミングを活用する革新的なアプローチを提案する。 テストケースを生成し,9つのドメインにまたがる6つの異なる大言語モデルに対して幻覚を検知し,24.7%から59.8%の比率を示した。
  論文  参考訳（メタデータ） (2024-05-01T17:24:42Z)
• KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking [55.2155025063668]
  KnowHaluは、大規模言語モデル(LLM)によって生成されたテキスト中の幻覚を検出する新しいアプローチである ステップワイズ推論、マルチフォームクエリ、ファクトチェックのためのマルチフォーム知識、フュージョンベースの検出メカニズムを使用する。 評価の結果,KnowHaluは様々なタスクにおける幻覚検出においてSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-04-03T02:52:07Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• DelucionQA: Detecting Hallucinations in Domain-specific Question Answering [22.23664008053246]
  幻覚は、大言語モデル(LLM)によって生成されたテキストでよく知られた現象である 我々は、ドメイン固有のQAタスクのためのLLMの検索による幻覚をキャプチャするデータセットDelucionQAを紹介する。 本研究では,研究コミュニティの今後の研究のベースラインとして,幻覚検出手法のセットを提案する。
  論文  参考訳（メタデータ） (2023-12-08T17:41:06Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。