論文の概要: HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification
- arxiv url: http://arxiv.org/abs/2608.03966v1
- Date: Tue, 04 Aug 2026 17:33:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.300267
- Title: HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification
- Title（参考訳）: HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification
- Abstract要約: 本稿では,ハルートラスQA-4Kについて述べる。
それぞれのインスタンスは、アラビアの質問とモデル生成の応答、検証された参照応答、そして5つのもっともらしいイントラクタをペアリングする。
コーパスには1,643の幻覚反応と2,357の非幻覚反応があり、1,843の誤記がある。
- 参考スコア（独自算出の注目度）: 3.419904583435486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models can generate fluent Arabic answers while introducing factual errors that are difficult to identify and verify. Existing Arabic hallucination resources often assign a binary label to an entire response, indicating whether it is hallucinated or non-hallucinated, but provide limited information about the exact erroneous content, the reason for the error, or the correct factual answer. We present HalluTruthQA-4K, an expanded version of the HalluTruthQA resource containing 4,000 expert-curated Arabic question-answering instances across four knowledge-intensive domains: Islamic knowledge, history, science, and geography. Serving as the official dataset for Track 2 of the HalluScoring 2026 shared task, HalluTruthQA-4K extends our original corpus to 4,000 instances. Each instance pairs an Arabic question with a model-generated response, a verified reference answer, and five plausible distractors. Hallucinated responses are additionally annotated with character-level erroneous spans, human-written explanations, and hierarchical hallucination types. The corpus contains 1,643 hallucinated and 2,357 non-hallucinated responses, with 1,843 annotated erroneous spans. We describe the resource construction and annotation methodology, including question selection, controlled answer generation, candidate construction, expert annotation, independent verification, adjudication, and quality control. We also document the annotation guidelines, taxonomy, data format, inter-annotator agreement, and corpus statistics. HalluTruthQA-4K provides a reusable resource for hallucination detection, span-level error localization, explanation generation, factual verification, and the broader evaluation of factual reliability in Arabic language models.
- Abstract（参考訳）: 大規模な言語モデルでは、識別や検証が難しい事実エラーを導入しながら、アラビア語による流動的な回答を生成することができる。
既存のアラビア語の幻覚リソースは、しばしばバイナリラベルを全応答に割り当て、それが幻覚的であるか非幻覚的であるかを示すが、正確な誤った内容、誤りの理由、または正しい事実の答えについて限られた情報を提供する。
本稿では,ハルートゥルースQA-4Kについて紹介する。これはハルートゥルースQAリソースの拡張版で,4つの知識集約ドメイン(イスラム知識,歴史,科学,地理)にわたる4000人の専門家によるアラビア語質問応答事例を含む。
HalluTruthQA-4Kは、HaluScoring 2026共有タスクのトラック2の公式データセットとして、私たちの元のコーパスを4,000のインスタンスに拡張しました。
それぞれのインスタンスは、アラビアの質問とモデル生成の応答、検証された参照応答、そして5つのもっともらしいイントラクタをペアリングする。
幻覚応答には、文字レベルの誤字、人間による説明、階層的な幻覚タイプが付加される。
コーパスには1,643の幻覚反応と2,357の非幻覚反応があり、1,843の誤記がある。
本稿では, 質問選択, 制御された回答生成, 候補構築, 専門家アノテーション, 独立した検証, 判断, 品質管理など, リソース構築とアノテーションの方法論について述べる。
また、アノテーションガイドライン、分類、データフォーマット、アノテーション間合意、コーパス統計も文書化しています。
HalluTruthQA-4Kは、幻覚検出、スパンレベルのエラーローカライゼーション、説明生成、事実検証、アラビア語モデルにおける事実信頼性のより広範な評価のための再利用可能なリソースを提供する。
関連論文リスト
- Detecting Hallucinations and Recovering Verified Answers in Arabic Islamic Question Answering [0.0]
本稿では,2026 Task 2.1, textitIslamic Hallucination Detection and Find the Truthを提案する。
このタスクには、LLMによって生成されたアラビア回答が幻覚されているかどうかを判断し、6つの密接に関連する候補オプションから検証された回答を選択するという、統合された2段階の予測が必要である。
このシステムは,幻覚検出のためのマクロF1スコア0.928とラベル精度0.935と,回答選択のためのオプション精度0.895を達成している。
論文 参考訳（メタデータ） (2026-08-04T14:19:53Z) - HalluTruthQA: A Fine-Grained Benchmark for Hallucination Detection, Localization, and Explanation in Arabic Question Answering [2.740644686681755]
アラビア語質問応答における幻覚評価の詳細なベンチマークであるtextscHalluTruthQAを紹介する。
このベンチマークには、イスラム知識、歴史、科学、地理という4つの知識集約的な領域にまたがる2,400人の専門家による例が含まれている。
最大スコアは0.880 Macro-F1、ローカライゼーション用0.516 F1-Sp、事実検証用0.852 LO-Score、説明評価用0.644である。
論文 参考訳（メタデータ） (2026-07-22T14:37:25Z) - HalluScore: Large Language Model Hallucination Question Answering Benchmark [3.8100688074986095]
HalluScoreは、大規模言語モデルにおける幻覚行動を評価するために設計された構造化アラビア語質問応答ベンチマークである。
LLMの幻覚の評価、検出、緩和のための827の精査された質問を含んでいる。
われわれは17のアラビア語・多言語・推論LLMの幻覚パターンを包括的に分析した。
論文 参考訳（メタデータ） (2026-05-16T14:08:15Z) - AraHalluEval: A Fine-grained Hallucination Evaluation Framework for Arabic LLMs [3.8100688074986095]
本稿では,アラビア語および多言語大言語モデル(LLM)の最初の幻覚評価について述べる。
本研究は,4つのアラビア事前学習モデル,4つの多言語モデル,および4つの推論モデルを含む合計12個のLLMを評価する。
その結果、すべてのモデルやタスクにおいて、事実の幻覚は忠実度エラーよりも一般的であることが判明した。
論文 参考訳（メタデータ） (2025-09-04T20:57:35Z) - Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。
この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
論文 参考訳（メタデータ） (2024-07-16T17:23:16Z) - ANAH: Analytical Annotation of Hallucinations in Large Language Models [65.12177400764506]
我々は、大言語モデルにおける幻覚の@textbfAN$alytical $textbfA$nnotationを提供するデータセットである$textbfANAH$を提示する。
ANAHは、700以上のトピックをカバーする4.3k LLM応答のための12kの文レベルのアノテーションで構成されている。
幻覚アノテーションの微粒化により, LLMの幻覚が解答に蓄積されることを定量的に確認し, ANAHを用いて幻覚アノテーションを訓練し, 評価する。
論文 参考訳（メタデータ） (2024-05-30T17:54:40Z) - KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking [55.2155025063668]
KnowHaluは、大規模言語モデル(LLM)によって生成されたテキスト中の幻覚を検出する新しいアプローチである
ステップワイズ推論、マルチフォームクエリ、ファクトチェックのためのマルチフォーム知識、フュージョンベースの検出メカニズムを使用する。
評価の結果,KnowHaluは様々なタスクにおける幻覚検出においてSOTAベースラインを著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2024-04-03T02:52:07Z) - Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。
我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。
本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文 参考訳（メタデータ） (2024-01-12T19:02:48Z) - Evaluating Hallucinations in Chinese Large Language Models [65.4771562909392]
我々は,中国大言語モデルにおける幻覚現象を測定するために,HaluQA(中国語幻覚質問回答)というベンチマークを構築した。
GLM-130B と ChatGPT の2種類の幻覚について考察した。
評価のために,モデル出力が幻覚的かどうかを判定するために,GPT-4を用いた自動評価手法を設計する。
論文 参考訳（メタデータ） (2023-10-05T07:57:09Z) - Chain-of-Verification Reduces Hallucination in Large Language Models [80.99318041981776]
言語モデルが与える反応を考慮し、誤りを訂正する能力について検討する。
モデルが最初に初期応答をドラフトするChain-of-Verification (CoVe) 法を開発した。
ウィキデータからクローズドブックMultiSpanQAまで,さまざまなタスクにおける幻覚の減少を示す。
論文 参考訳（メタデータ） (2023-09-20T17:50:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。