論文の概要: When Ground Truth Is Not Ground Truth: Automatic Labeling for Hallucination Detection

• arxiv url: http://arxiv.org/abs/2611.04697v1
• Date: Tue, 03 Nov 2026 11:20:45 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:24:29.543706
• Title: When Ground Truth Is Not Ground Truth: Automatic Labeling for Hallucination Detection
• Title（参考訳）: 地上の真実が真実でないとき:幻覚検出のための自動ラベリング
• Abstract要約: 大規模言語モデルにおける幻覚は、誤解を招く、事実的に間違っている、あるいは検証不可能な情報を生成できる。 幻覚検知器の評価において,信頼性の高い地中真実ラベルが依然として重要な課題であることを示す。 本研究は,自動類似性に基づくラベリングの限界と,より信頼性の高い判定方法の必要性を明らかにする。
• 参考スコア（独自算出の注目度）: 2.349543893976152
• License:
• Abstract: Hallucinations in Large Language Models (LLMs) remain a major challenge, as they can produce misleading, factually incorrect, or unverifiable information, thereby undermining their trustworthiness and reliability. However, reliable ground-truth labels remain a key challenge in evaluating hallucination detectors. Recent studies often construct labels automatically by comparing model generations with reference answers using similarity metrics such as BLEURT. This implicitly treats BLEURT similarity as a proxy for hallucination, despite its English-centric supervision, unbounded score range, and design as a similarity metric rather than a factuality measure, making threshold-based ground-truth construction potentially unreliable. Through comprehensive experiments using 15 automatic supervision judges, seven hallucination detection baselines, two generator models, two QA datasets, and five languages, we demonstrate that detector performance varies substantially with the choice of supervision judge. Human validation reveals substantial differences in labeling reliability, with QGen-9B achieving the lowest overall misclassification rate (12.86%), while BLEURT and BLEURT-n exhibit rates of 47.23% and 47.32%, respectively. Our findings highlight the limitations of automatic similarity-based labeling and the need for more reliable judging methods that better capture semantic and factual correctness.
• Abstract（参考訳）: 大規模言語モデル(LLM)における幻覚は、誤った、事実的誤り、あるいは検証不可能な情報を生成できるため、信頼性と信頼性を損なうため、依然として大きな課題である。 しかし、信頼できる地中真実ラベルは幻覚検知器を評価する上で重要な課題である。 近年の研究では、BLEURTのような類似度指標を用いてモデル生成と参照回答を比較することで、ラベルを自動生成することが多い。 これは暗黙的にBLEURTの類似性を幻覚の代名詞として扱うが、英語中心の監督、無境界スコア範囲、および実測値ではなく類似度尺度としての設計は、しきい値に基づく地道構築を信頼性の低いものにしている。 15名の自動監督審査員,7名の幻覚検出ベースライン,2つのジェネレータモデル,2つのQAデータセット,5つの言語を用いた総合的な実験により,監督審査員の選択によって検出性能が著しく変化することを示した。 人間の検証ではラベルの信頼性にかなりの違いが見られ、QGen-9Bは全体の誤分類率(12.86%)が最も低く、BLEURTとBLEURT-nはそれぞれ47.23%と47.32%である。 本研究は, 自動類似性に基づくラベリングの限界と, 意味的・事実的正しさをよりよく把握する信頼性の高い評価方法の必要性を明らかにする。

関連論文リスト

• The Labeling Problem in Hallucination Detection Benchmarks: An Empirical Evaluation [0.2799896314754614]
  我々は,大規模言語モデル (LLM) がオープンドメイン質問応答データセットで幻覚することを検出する方法のベンチマークを行った。 この評価設定は、基準忠実性と事実正当性という2つの基準の方法論的曖昧さを生成する。 3つのQAデータセットと3つのジェネレータモデルにまたがる900人のラベル付き質問応答ペアを用いて,この潜在的な基準ミスマッチについて検討した。
  論文  参考訳（メタデータ） (2026-10-06T09:19:10Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Unsupervised Hallucination Detection by Inspecting Reasoning Processes [53.15199932086543]
  非教師付き幻覚検出は、ラベル付きデータに頼ることなく、大規模言語モデル(LLM)が生成する幻覚コンテンツを特定することを目的としている。 本稿では,非教師なし幻覚検出フレームワークIRISを提案する。 我々の手法は完全に教師なし、計算コストが低く、訓練データが少ない場合でもうまく機能し、リアルタイム検出に適しています。
  論文  参考訳（メタデータ） (2025-09-12T06:58:17Z)
• SelfCheckAgent: Zero-Resource Hallucination Detection in Generative Large Language Models [0.16385815610837165]
  SelfCheckAgentは、3つの異なるエージェントを統合する新しいフレームワークである。 これらのエージェントは幻覚検出に対する堅牢な多次元アプローチを提供する。 このフレームワークには三角形戦略も組み込まれており、SelfCheckAgentの強みを高めている。
  論文  参考訳（メタデータ） (2025-02-03T20:42:32Z)
• FactLens: Benchmarking Fine-Grained Fact Verification [6.814173254027381]
  我々は、複雑なクレームを個別の検証のためにより小さなサブステートに分割する、きめ細かい検証へのシフトを提唱する。 我々は,ファクトレンス(FactLens)という,ファクトレンス(FactLens)という,詳細な事実検証のベンチマークを紹介した。 この結果から,FactLens自動評価器と人的判断との整合性を示し,評価性能に対する準定値特性の影響について考察した。
  論文  参考訳（メタデータ） (2024-11-08T21:26:57Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。