論文の概要: Detecting Hallucinations in Authentic LLM-Human Interactions

• arxiv url: http://arxiv.org/abs/2510.10539v1
• Date: Sun, 12 Oct 2025 10:46:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.998031
• Title: Detecting Hallucinations in Authentic LLM-Human Interactions
• Title（参考訳）: LLM-Human相互作用における幻覚の検出
• Authors: Yujie Ren, Niklas Gruhlke, Anne Lauscher,
• Abstract要約: AuthenHalluは、完全なLLM-ヒューマンインタラクションで構築された最初の幻覚検出ベンチマークである。 統計的分析により,我々のベンチマークでは,クエリ応答対の31.4%に幻覚が生じることが示された。
• 参考スコア（独自算出の注目度）: 21.9643190742574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) are increasingly applied in sensitive domains such as medicine and law, hallucination detection has become a critical task. Although numerous benchmarks have been proposed to advance research in this area, most of them are artificially constructed--either through deliberate hallucination induction or simulated interactions--rather than derived from genuine LLM-human dialogues. Consequently, these benchmarks fail to fully capture the characteristics of hallucinations that occur in real-world usage. To address this limitation, we introduce AuthenHallu, the first hallucination detection benchmark built entirely from authentic LLM-human interactions. For AuthenHallu, we select and annotate samples from genuine LLM-human dialogues, thereby providing a faithful reflection of how LLMs hallucinate in everyday user interactions. Statistical analysis shows that hallucinations occur in 31.4% of the query-response pairs in our benchmark, and this proportion increases dramatically to 60.0% in challenging domains such as Math & Number Problems. Furthermore, we explore the potential of using vanilla LLMs themselves as hallucination detectors and find that, despite some promise, their current performance remains insufficient in real-world scenarios.
• Abstract（参考訳）: 大きな言語モデル (LLMs) が医学や法学などのセンシティブな分野にますます適用されているため、幻覚検出は重要な課題となっている。 この分野の研究を進めるために多くのベンチマークが提案されているが、そのほとんどは、故意の幻覚誘導やシミュレートされた相互作用を通じて人工的に構築されている。 その結果、これらのベンチマークは現実世界で発生する幻覚の特徴を完全に把握することができない。 この制限に対処するために、認証されたLLM-ヒューマンインタラクションから構築された最初の幻覚検出ベンチマークであるAuthenHalluを紹介する。 AuthenHallu の場合、実際の LLM と人間との対話からサンプルを選択・注釈し、LLM が日常のユーザインタラクションにどう幻覚するかを忠実に反映する。 統計的分析により,本ベンチマークのクエリ応答対の31.4%で幻覚が発生し,この割合はMath & Number Problemsなどの課題領域で60.0%へと劇的に上昇した。 さらに,バニラLSM自体を幻覚検出器として用いる可能性について検討し,いくつかの約束があるものの,現実のシナリオでは現在の性能が不十分であることが確認された。

関連論文リスト

• Beyond Facts: Evaluating Intent Hallucination in Large Language Models [13.315302240710164]
  FAITHQAは20,068問題を含む意図幻覚の新しいベンチマークである。 我々は、最先端のモデルにおいても意図幻覚は一般的な問題であると考えている。 意図の幻覚を検出するための自動LLM生成評価指標であるCONSTRAINT SCOREを導入する。
  論文  参考訳（メタデータ） (2025-06-06T21:10:55Z)
• WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries [64.239202960816]
  事実性を評価するベンチマークであるWildHallucinationsを紹介する。 それは、大きな言語モデルに、ユーザーとチャットボットの会話から抽出されたエンティティに関する情報を生成するよう促すことによって実現している。 我々は15個のLDMから7,919個のエンティティ上で118,785世代を評価した。
  論文  参考訳（メタデータ） (2024-07-24T17:59:05Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• HalluDial: A Large-Scale Benchmark for Automatic Dialogue-Level Hallucination Evaluation [19.318217051269382]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野で大きく進歩した。 HalluDialは、対話レベルの幻覚自動評価のための、初めての総合的な大規模ベンチマークである。 ベンチマークには4,094の対話があり、合計146,856のサンプルが含まれている。
  論文  参考訳（メタデータ） (2024-06-11T08:56:18Z)
• DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models [26.289847386286446]
  本稿では,対話レベルの幻覚評価ベンチマークDiaHaluを提案する。 収集したトピックをシステムプロンプトに統合し、2つのChatGPT3.5間の対話を促進する。 人間の言語規則に従わない内容を手動で修正し、LLMを再生させ、人間と機械の相互作用のシナリオをシミュレートする。
  論文  参考訳（メタデータ） (2024-03-01T15:38:55Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。