論文の概要: OpenHalDet: A Unified Benchmark for Hallucination Detection across Diverse Generation Scenarios

• arxiv url: http://arxiv.org/abs/2606.06959v1
• Date: Fri, 05 Jun 2026 06:38:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.598288
• Title: OpenHalDet: A Unified Benchmark for Hallucination Detection across Diverse Generation Scenarios
• Title（参考訳）: OpenHalDet: さまざまな世代シナリオを対象とした幻覚検出のための統一ベンチマーク
• Authors: Xinyi Li, Zhen Fang, Yongxin Deng, Jinyuan Luo, Hongnan Ma, Changdae Oh, Zijing Shi, Shanshan Ye, Hanchen Wang, Shu-Lin Chen, Yadan Luo, Mengyue Yang, Sean Du, Sharon Li, Ling Chen,
• Abstract要約: 幻覚検出は、大規模言語モデルの信頼性の高い展開に不可欠である。 多様な生成シナリオを対象とした幻覚検出のための統一ベンチマークであるOpenHalDetを紹介する。
• 参考スコア（独自算出の注目度）: 34.58119255209895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination detection is essential for the reliable deployment of large language models (LLMs). However, existing evaluations face two core challenges: inconsistent inference configuration and evaluation, and limited coverage of downstream domains and tasks. Consequently, reported detector performance is often difficult to compare, reproduce, and generalize beyond specific experimental settings. We introduce OpenHalDet, a unified benchmark for hallucination detection across diverse generation scenarios. OpenHalDet standardizes the evaluation pipeline, from prompt construction and response generation to truthfulness annotation, detector scoring, and metric computation. It supports heterogeneous detector families under different access settings, including black-box methods that use only generated outputs, gray-box methods that rely on probability-based signals, and white-box methods that exploit internal model signals. By bringing diverse tasks, models, and detectors into a shared framework, OpenHalDet enables controlled comparison and provides a systematic view of how different detection paradigms behave in LLM applications. We release OpenHalDet as an open and extensible codebase to facilitate reproducible evaluation and future development of hallucination detection methods. The code and datasets are available at https://github.com/Nellie179/Hallucination-Detection.
• Abstract（参考訳）: 幻覚検出は、大規模言語モデル(LLM)の信頼性の高い展開に不可欠である。 しかし、既存の評価は、一貫性のない推論設定と評価、下流ドメインとタスクの限られた範囲の2つの主要な課題に直面している。 したがって、報告された検出器の性能は、特定の実験環境を超えて比較、再生、一般化することがしばしば困難である。 多様な生成シナリオを対象とした幻覚検出のための統一ベンチマークであるOpenHalDetを紹介する。 OpenHalDetは、迅速な構築と応答生成から真理性アノテーション、検出器のスコアリング、メトリック計算に至るまで、評価パイプラインを標準化する。 異なるアクセス設定下で異種検出ファミリをサポートしており、生成した出力のみを使用するブラックボックスメソッド、確率ベースの信号に依存するグレーボックスメソッド、内部モデル信号を利用するホワイトボックスメソッドがある。 OpenHalDetは、さまざまなタスク、モデル、検出器を共有フレームワークに組み込むことで、制御された比較を可能にし、LLMアプリケーションで異なる検出パラダイムがどのように振る舞うかの体系的なビューを提供する。 我々はOpenHalDetをオープンで拡張可能なコードベースとしてリリースし、再現可能な評価と幻覚検出法の開発を円滑に進める。 コードとデータセットはhttps://github.com/Nellie179/Hallucination-Detectionで公開されている。

関連論文リスト

• EnsemHalDet: Robust VLM Hallucination Detection via Ensemble of Internal State Detectors [1.4401311275746886]
  VLM(Vision-Language Models)は、マルチモーダルなタスクにおいて優れているが、実際には正しくない、あるいは入力画像に根拠のない幻覚に弱いままである。 近年の研究では、内部表現を用いた幻覚検出は、モデル出力のみに依存するアプローチよりも効率的で正確であることが示唆されている。 本研究では,アンサンブルに基づく幻覚検出フレームワークEnsemHalDetを提案する。
  論文  参考訳（メタデータ） (2026-04-03T06:48:27Z)
• VIGIL: Tackling Hallucination Detection in Image Recontextualization [0.0]
  幻覚の詳細な分類を提供する最初のベンチマークデータセットとフレームワークであるVIGILを紹介する。 本研究は,幻覚を5つのカテゴリに分解することで,マルチモーダル評価において大きなギャップを解消する。 我々のアーキテクチャは、オブジェクトレベルの忠実さ、背景の一貫性、欠落検出をターゲットとした一連の特別なステップを通じて、再構成された画像を処理する。
  論文  参考訳（メタデータ） (2026-02-16T10:47:10Z)
• Osiris: A Lightweight Open-Source Hallucination Detection System [30.63248848082757]
  幻覚は、RAGシステムが本番環境に配備されるのを防ぐ。 幻覚を誘発したマルチホップQAデータセットを提案する。 RAGTruth 幻覚検出ベンチマークにおいて, GPT-4o よりも 7B モデルの方が良好なリコールを実現している。
  論文  参考訳（メタデータ） (2025-05-07T22:45:59Z)
• HalluCounter: Reference-free LLM Hallucination Detection in the Wild! [6.5037356041929675]
  HalluCounterは、応答応答とクエリ応答の整合性とアライメントパターンの両方を利用する参照なし幻覚検出手法である。 我々の手法は最先端の手法よりもかなり優れており、データセット間での幻覚検出における平均信頼度は90%を超えている。
  論文  参考訳（メタデータ） (2025-03-06T16:59:18Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [89.92916473403108]
  本稿では,新しい手法のモジュラーフレームワークであるADerの総合的な視覚異常検出ベンチマークを提案する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。