論文の概要: HalluTruthQA: A Fine-Grained Benchmark for Hallucination Detection, Localization, and Explanation in Arabic Question Answering
- arxiv url: http://arxiv.org/abs/2607.20219v1
- Date: Wed, 22 Jul 2026 14:37:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:38.11462
- Title: HalluTruthQA: A Fine-Grained Benchmark for Hallucination Detection, Localization, and Explanation in Arabic Question Answering
- Title（参考訳）: HalluTruthQA: アラビア語質問応答における幻覚検出, 局所化, 説明のための細粒度ベンチマーク
- Abstract要約: アラビア語質問応答における幻覚評価の詳細なベンチマークであるtextscHalluTruthQAを紹介する。
このベンチマークには、イスラム知識、歴史、科学、地理という4つの知識集約的な領域にまたがる2,400人の専門家による例が含まれている。
最大スコアは0.880 Macro-F1、ローカライゼーション用0.516 F1-Sp、事実検証用0.852 LO-Score、説明評価用0.644である。
- 参考スコア（独自算出の注目度）: 2.740644686681755
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) can generate fluent Arabic answers, yet factual errors remain difficult to detect, localize, explain, and verify. Existing hallucination benchmarks often provide response-level labels, with limited support for identifying the exact erroneous content, explaining why it is incorrect, or selecting the correct factual answer. We introduce \textsc{HalluTruthQA}, a fine-grained benchmark for hallucination evaluation in Arabic question answering. The benchmark contains 2,400 expert-curated examples across four knowledge-intensive domains: Islamic knowledge, history, science, and geography. Each example pairs an Arabic question and a model-generated answer with a verified reference answer, a binary hallucination label, six candidate answers for factual verification, and, for hallucinated answers, character-level erroneous spans, human-written explanations, and macro and micro hallucination types. We evaluate four open-source LLMs, \textsc{Allam}, \textsc{Falcon-H1}, \textsc{Qwen32}, and \textsc{Silma}, in a zero-shot setting across hallucination detection, span-level localization, factual verification, and explanation evaluation. Results show that these tasks capture different abilities: no single model achieves the strongest performance across all tasks, with best scores of 0.880 Macro-F1 for detection, 0.516 F1-Sp for localization, 0.852 LO-Score for factual verification, and 0.644 final score for explanation evaluation. Our taxonomy shows that hallucination evaluation should move beyond detection toward localizing, verifying, and explaining factual errors. The code, dataset, prompts, and evaluation scripts are available at https://gitlab.com/nlpresearcher/HalluTruthQA.
- Abstract（参考訳）: 大規模言語モデル(LLMs)は、アラビア語に習熟した回答を生成することができるが、実際のエラーは検出、ローカライズ、説明、検証が難しいままである。
既存の幻覚ベンチマークは、しばしば応答レベルラベルを提供し、正確な誤った内容を特定すること、なぜそれが間違っているのかを説明すること、または正しい事実の答えを選択することをサポートする。
本稿では,アラビア語質問応答における幻覚評価の詳細なベンチマークであるtextsc{HalluTruthQA}を紹介する。
このベンチマークには、イスラム知識、歴史、科学、地理という4つの知識集約的な領域にまたがる2,400人の専門家による例が含まれている。
それぞれの例は、アラビア語の質問とモデル生成の回答に、検証された基準回答、バイナリ幻覚ラベル、事実検証のための6つの候補回答、そして、幻覚化された回答、文字レベルの誤認識、人間による説明、マクロとマイクロ幻覚のタイプとをペアリングする。
我々は,幻覚検出,スパンレベルローカライゼーション,事実検証,説明評価を含むゼロショット環境で,オープンソースの4つのLCM, \textsc{Allam}, \textsc{Falcon-H1}, \textsc{Qwen32}, \textsc{Silma}を評価した。
その結果、これらのタスクは、すべてのタスクで最強のパフォーマンスを達成することはなく、検出には0.880 Macro-F1、ローカライゼーションには0.516 F1-Sp、事実検証には0.852 LO-Score、説明評価には0.644のスコアがあることがわかった。
我々の分類学は、幻覚評価が発見を超えて、局所化、検証、事実の誤りの説明へと移行すべきであることを示している。
コード、データセット、プロンプト、評価スクリプトはhttps://gitlab.com/nlpresearcher/HalluTruthQA.comで入手できる。
関連論文リスト
- HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification [3.419904583435486]
本稿では,ハルートラスQA-4Kについて述べる。
それぞれのインスタンスは、アラビアの質問とモデル生成の応答、検証された参照応答、そして5つのもっともらしいイントラクタをペアリングする。
コーパスには1,643の幻覚反応と2,357の非幻覚反応があり、1,843の誤記がある。
論文 参考訳（メタデータ） (2026-08-04T17:33:38Z) - Detecting Hallucinations and Recovering Verified Answers in Arabic Islamic Question Answering [0.0]
本稿では,2026 Task 2.1, textitIslamic Hallucination Detection and Find the Truthを提案する。
このタスクには、LLMによって生成されたアラビア回答が幻覚されているかどうかを判断し、6つの密接に関連する候補オプションから検証された回答を選択するという、統合された2段階の予測が必要である。
このシステムは,幻覚検出のためのマクロF1スコア0.928とラベル精度0.935と,回答選択のためのオプション精度0.895を達成している。
論文 参考訳（メタデータ） (2026-08-04T14:19:53Z) - HalluScore: Large Language Model Hallucination Question Answering Benchmark [3.8100688074986095]
HalluScoreは、大規模言語モデルにおける幻覚行動を評価するために設計された構造化アラビア語質問応答ベンチマークである。
LLMの幻覚の評価、検出、緩和のための827の精査された質問を含んでいる。
われわれは17のアラビア語・多言語・推論LLMの幻覚パターンを包括的に分析した。
論文 参考訳（メタデータ） (2026-05-16T14:08:15Z) - Halluverse-M^3: A multitask multilingual benchmark for hallucination in LLMs [2.453830698820308]
Halluverse-M3は、複数の言語にまたがる幻覚の体系的な分析を可能にするデータセットである。
データセットは、エンティティレベル、関係レベル、および文レベルの幻覚を明確に区別する。
Halluverse-M3は、多言語、マルチタスク設定で幻覚を研究するための現実的で挑戦的なベンチマークを提供する。
論文 参考訳（メタデータ） (2026-02-06T18:16:09Z) - ReFACT: A Benchmark for Scientific Confabulation Detection with Positional Error Annotations [14.392598503431321]
大規模言語モデル(LLM)は、しばしば科学的事実を議論し、その信頼性を著しく損なう。
多様な科学的領域にまたがる1,001名の専門家による質問応答対のベンチマークであるReFACTを紹介する。
それぞれのインスタンスには、科学的に正しい答えと、正確なエラースパンとエラータイプで注釈付けされた非実例の両方が含まれている。
論文 参考訳（メタデータ） (2025-09-30T07:06:23Z) - Fine-Grained Detection of Context-Grounded Hallucinations Using LLMs [16.173245551933178]
コンテキストグラウンドド・幻覚(Context-grounded hallucination)は、モデル出力がソーステキストに対して検証できない情報を含む場合である。
このような幻覚を局在化するためのLCMの適用性について検討する。
論文 参考訳（メタデータ） (2025-09-26T17:03:24Z) - MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models [82.30696225661615]
MedHalluは、医学的幻覚検出に特化して設計された最初のベンチマークである。
GPT-4o, Llama-3.1, および医学的に微調整されたUltraMedicalを含む最先端のLSMは、このバイナリ幻覚検出タスクに苦慮している。
双方向の包絡クラスタリングを用いて, 難解な幻覚は, 意味論的に真実に近いことを示す。
論文 参考訳（メタデータ） (2025-02-20T06:33:23Z) - Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。
この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
論文 参考訳（メタデータ） (2024-07-16T17:23:16Z) - Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps [48.58310785625051]
大型言語モデル(LLM)は詳細を幻覚し、根拠のない回答で応答することができる。
本稿では,このような文脈的幻覚を検出するための簡単なアプローチについて述べる。
論文 参考訳（メタデータ） (2024-07-09T17:44:34Z) - ANAH: Analytical Annotation of Hallucinations in Large Language Models [65.12177400764506]
我々は、大言語モデルにおける幻覚の@textbfAN$alytical $textbfA$nnotationを提供するデータセットである$textbfANAH$を提示する。
ANAHは、700以上のトピックをカバーする4.3k LLM応答のための12kの文レベルのアノテーションで構成されている。
幻覚アノテーションの微粒化により, LLMの幻覚が解答に蓄積されることを定量的に確認し, ANAHを用いて幻覚アノテーションを訓練し, 評価する。
論文 参考訳（メタデータ） (2024-05-30T17:54:40Z) - Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。
我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。
本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文 参考訳（メタデータ） (2024-01-12T19:02:48Z) - Evaluating Hallucinations in Chinese Large Language Models [65.4771562909392]
我々は,中国大言語モデルにおける幻覚現象を測定するために,HaluQA(中国語幻覚質問回答)というベンチマークを構築した。
GLM-130B と ChatGPT の2種類の幻覚について考察した。
評価のために,モデル出力が幻覚的かどうかを判定するために,GPT-4を用いた自動評価手法を設計する。
論文 参考訳（メタデータ） (2023-10-05T07:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。