論文の概要: OpenHalDet: A Unified Benchmark for Hallucination Detection across Diverse Generation Scenarios

• arxiv url: http://arxiv.org/abs/2606.06959v1
• Date: Fri, 05 Jun 2026 06:38:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.598288
• Title: OpenHalDet: A Unified Benchmark for Hallucination Detection across Diverse Generation Scenarios
• Title（参考訳）: OpenHalDet: さまざまな世代シナリオを対象とした幻覚検出のための統一ベンチマーク
• Abstract要約: 幻覚検出は、大規模言語モデルの信頼性の高い展開に不可欠である。 多様な生成シナリオを対象とした幻覚検出のための統一ベンチマークであるOpenHalDetを紹介する。
• 参考スコア（独自算出の注目度）: 34.58119255209895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination detection is essential for the reliable deployment of large language models (LLMs). However, existing evaluations face two core challenges: inconsistent inference configuration and evaluation, and limited coverage of downstream domains and tasks. Consequently, reported detector performance is often difficult to compare, reproduce, and generalize beyond specific experimental settings. We introduce OpenHalDet, a unified benchmark for hallucination detection across diverse generation scenarios. OpenHalDet standardizes the evaluation pipeline, from prompt construction and response generation to truthfulness annotation, detector scoring, and metric computation. It supports heterogeneous detector families under different access settings, including black-box methods that use only generated outputs, gray-box methods that rely on probability-based signals, and white-box methods that exploit internal model signals. By bringing diverse tasks, models, and detectors into a shared framework, OpenHalDet enables controlled comparison and provides a systematic view of how different detection paradigms behave in LLM applications. We release OpenHalDet as an open and extensible codebase to facilitate reproducible evaluation and future development of hallucination detection methods. The code and datasets are available at https://github.com/Nellie179/Hallucination-Detection.
• Abstract（参考訳）: 幻覚検出は、大規模言語モデル(LLM)の信頼性の高い展開に不可欠である。 しかし、既存の評価は、一貫性のない推論設定と評価、下流ドメインとタスクの限られた範囲の2つの主要な課題に直面している。 したがって、報告された検出器の性能は、特定の実験環境を超えて比較、再生、一般化することがしばしば困難である。 多様な生成シナリオを対象とした幻覚検出のための統一ベンチマークであるOpenHalDetを紹介する。 OpenHalDetは、迅速な構築と応答生成から真理性アノテーション、検出器のスコアリング、メトリック計算に至るまで、評価パイプラインを標準化する。 異なるアクセス設定下で異種検出ファミリをサポートしており、生成した出力のみを使用するブラックボックスメソッド、確率ベースの信号に依存するグレーボックスメソッド、内部モデル信号を利用するホワイトボックスメソッドがある。 OpenHalDetは、さまざまなタスク、モデル、検出器を共有フレームワークに組み込むことで、制御された比較を可能にし、LLMアプリケーションで異なる検出パラダイムがどのように振る舞うかの体系的なビューを提供する。 我々はOpenHalDetをオープンで拡張可能なコードベースとしてリリースし、再現可能な評価と幻覚検出法の開発を円滑に進める。 コードとデータセットはhttps://github.com/Nellie179/Hallucination-Detectionで公開されている。

関連論文リスト

• Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals [2.2302915692528367]
  InnerExpertは、MoE固有の信号を利用して幻覚検出を行う最初の方法である。 以上の結果から,InnerExpertは5つのデータセットと2つのMoEアーキテクチャで既存のメソッドよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2026-08-18T12:00:20Z)
• UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
  LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。 textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
  論文  参考訳（メタデータ） (2026-08-11T12:01:59Z)
• EnsemHalDet: Robust VLM Hallucination Detection via Ensemble of Internal State Detectors [1.4401311275746886]
  VLM(Vision-Language Models)は、マルチモーダルなタスクにおいて優れているが、実際には正しくない、あるいは入力画像に根拠のない幻覚に弱いままである。 近年の研究では、内部表現を用いた幻覚検出は、モデル出力のみに依存するアプローチよりも効率的で正確であることが示唆されている。 本研究では,アンサンブルに基づく幻覚検出フレームワークEnsemHalDetを提案する。
  論文  参考訳（メタデータ） (2026-04-03T06:48:27Z)
• Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
  Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。 2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。 本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:01:31Z)
• VIGIL: Tackling Hallucination Detection in Image Recontextualization [0.0]
  幻覚の詳細な分類を提供する最初のベンチマークデータセットとフレームワークであるVIGILを紹介する。 本研究は,幻覚を5つのカテゴリに分解することで,マルチモーダル評価において大きなギャップを解消する。 我々のアーキテクチャは、オブジェクトレベルの忠実さ、背景の一貫性、欠落検出をターゲットとした一連の特別なステップを通じて、再構成された画像を処理する。
  論文  参考訳（メタデータ） (2026-02-16T10:47:10Z)
• Osiris: A Lightweight Open-Source Hallucination Detection System [30.63248848082757]
  幻覚は、RAGシステムが本番環境に配備されるのを防ぐ。 幻覚を誘発したマルチホップQAデータセットを提案する。 RAGTruth 幻覚検出ベンチマークにおいて, GPT-4o よりも 7B モデルの方が良好なリコールを実現している。
  論文  参考訳（メタデータ） (2025-05-07T22:45:59Z)
• HalluCounter: Reference-free LLM Hallucination Detection in the Wild! [6.5037356041929675]
  HalluCounterは、応答応答とクエリ応答の整合性とアライメントパターンの両方を利用する参照なし幻覚検出手法である。 我々の手法は最先端の手法よりもかなり優れており、データセット間での幻覚検出における平均信頼度は90%を超えている。
  論文  参考訳（メタデータ） (2025-03-06T16:59:18Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [89.92916473403108]
  本稿では,新しい手法のモジュラーフレームワークであるADerの総合的な視覚異常検出ベンチマークを提案する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。