論文の概要: Detecting Hallucinations and Recovering Verified Answers in Arabic Islamic Question Answering
- arxiv url: http://arxiv.org/abs/2608.03720v1
- Date: Tue, 04 Aug 2026 14:19:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.237864
- Title: Detecting Hallucinations and Recovering Verified Answers in Arabic Islamic Question Answering
- Title（参考訳）: アラビア語質問応答における幻覚の検出と検証された回答の回収
- Abstract要約: 本稿では,2026 Task 2.1, textitIslamic Hallucination Detection and Find the Truthを提案する。
このタスクには、LLMによって生成されたアラビア回答が幻覚されているかどうかを判断し、6つの密接に関連する候補オプションから検証された回答を選択するという、統合された2段階の予測が必要である。
このシステムは,幻覚検出のためのマクロF1スコア0.928とラベル精度0.935と,回答選択のためのオプション精度0.895を達成している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models can generate fluent responses to Islamic questions while introducing factual errors that are difficult to identify. This paper presents our system for \textsc{HalluScoring 2026} Task 2.1, \textit{Islamic Hallucination Detection and Find the Truth}. The task requires a unified two-step prediction: determining whether an Arabic answer generated by an LLM is hallucinated and selecting the verified answer from six closely related candidate options. We use the Islamic knowledge dataset provided by the shared task, which contains 600 question--answer instances, including 341 hallucinated and 259 non-hallucinated answers. Our system is based on the fine-tuned \texttt{google/gemma-4-12B-it} model and uses deterministic decoding during inference. The generated outputs are normalized to extract the hallucination label and the selected option. The system achieves a Macro-F1 score of 0.928 and a label accuracy of 0.935 for hallucination detection, together with an option accuracy of 0.895 for answer selection. These results yield a combined score of 0.912, demonstrating strong performance across both stages of the task. The lower option-selection accuracy indicates that distinguishing the verified answer from plausible alternatives remains more challenging than detecting hallucinated responses.
- Abstract（参考訳）: 大規模な言語モデルは、識別が難しい事実エラーを導入しながら、イスラムの質問に対する流動的な応答を生成することができる。
本稿では,<textsc{HalluScoring 2026} Task 2.1, \textit{Islamic Hallucination Detection and Find the Truth}について述べる。
このタスクには、LLMによって生成されたアラビア回答が幻覚されているかどうかを判断し、6つの密接に関連する候補オプションから検証された回答を選択するという、統合された2段階の予測が必要である。
我々は、共有タスクが提供するイスラム知識データセットを使用し、341の幻覚と259の非幻覚回答を含む600の質問事例を含む。
我々のシステムは、微調整された \texttt{google/gemma-4-12B-it} モデルに基づいており、推論中に決定論的復号を用いる。
生成した出力を正規化し、幻覚ラベルと選択されたオプションを抽出する。
このシステムは,幻覚検出のためのマクロF1スコア0.928とラベル精度0.935と,回答選択のためのオプション精度0.895を達成している。
これらの結果は0.912のスコアとなり、タスクの両ステージで強いパフォーマンスを示す。
選択肢選択精度が低いことは、検証された回答と妥当な選択肢を区別することが、幻覚応答を検出することよりも難しいことを示唆している。
関連論文リスト
- HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification [3.419904583435486]
本稿では,ハルートラスQA-4Kについて述べる。
それぞれのインスタンスは、アラビアの質問とモデル生成の応答、検証された参照応答、そして5つのもっともらしいイントラクタをペアリングする。
コーパスには1,643の幻覚反応と2,357の非幻覚反応があり、1,843の誤記がある。
論文 参考訳（メタデータ） (2026-08-04T17:33:38Z) - HalluTruthQA: A Fine-Grained Benchmark for Hallucination Detection, Localization, and Explanation in Arabic Question Answering [2.740644686681755]
アラビア語質問応答における幻覚評価の詳細なベンチマークであるtextscHalluTruthQAを紹介する。
このベンチマークには、イスラム知識、歴史、科学、地理という4つの知識集約的な領域にまたがる2,400人の専門家による例が含まれている。
最大スコアは0.880 Macro-F1、ローカライゼーション用0.516 F1-Sp、事実検証用0.852 LO-Score、説明評価用0.644である。
論文 参考訳（メタデータ） (2026-07-22T14:37:25Z) - Two-Stage Quranic QA via Ensemble Retrieval and Instruction-Tuned Answer Extraction [0.4349640169711269]
Quranic Question Answeringは、古典アラビア語の言語的複雑さと宗教テキストの意味的な豊かさによって、ユニークな課題を提起している。
本稿では,経路抽出と解答抽出の両方に対処する新しい2段階フレームワークを提案する。
提案手法では, MAP@10が0.3128, MRR@10が0.5763, pAP@10が0.669である。
論文 参考訳（メタデータ） (2025-08-09T12:37:19Z) - keepitsimple at SemEval-2025 Task 3: LLM-Uncertainty based Approach for Multilingual Hallucination Span Detection [0.0]
ブラックボックス言語モデル生成テキストにおける幻覚の特定は、現実世界の応用に不可欠である。
本問題の解法は, 幻覚的スパンを特定するために, 実測的な応答のばらつきを生かしたものである。
エントロピーに基づく解析により,このばらつきを計測し,幻覚部分の正確な同定を可能にする。
論文 参考訳（メタデータ） (2025-05-23T05:25:14Z) - MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models [82.30696225661615]
MedHalluは、医学的幻覚検出に特化して設計された最初のベンチマークである。
GPT-4o, Llama-3.1, および医学的に微調整されたUltraMedicalを含む最先端のLSMは、このバイナリ幻覚検出タスクに苦慮している。
双方向の包絡クラスタリングを用いて, 難解な幻覚は, 意味論的に真実に近いことを示す。
論文 参考訳（メタデータ） (2025-02-20T06:33:23Z) - Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。
この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
論文 参考訳（メタデータ） (2024-07-16T17:23:16Z) - Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps [48.58310785625051]
大型言語モデル(LLM)は詳細を幻覚し、根拠のない回答で応答することができる。
本稿では,このような文脈的幻覚を検出するための簡単なアプローチについて述べる。
論文 参考訳（メタデータ） (2024-07-09T17:44:34Z) - Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。
それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。
本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
論文 参考訳（メタデータ） (2024-07-04T18:47:42Z) - Is There No Such Thing as a Bad Question? H4R: HalluciBot For Ratiocination, Rewriting, Ranking, and Routing [2.5661357661971778]
提案するHaluciBotは,クエリが生成前に幻覚する確率を推定するモデルである。
HalluciBotは、クエリ書き換えのためのプロキシ報酬モデルとして機能する。
複数質問に対して95.7%の出力精度が得られることを示す。
論文 参考訳（メタデータ） (2024-04-18T22:56:57Z) - On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。
正しい解答知識を持つLLMの現象を推論力学の観点から検討する。
我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
論文 参考訳（メタデータ） (2024-03-29T06:48:30Z) - Chain-of-Verification Reduces Hallucination in Large Language Models [80.99318041981776]
言語モデルが与える反応を考慮し、誤りを訂正する能力について検討する。
モデルが最初に初期応答をドラフトするChain-of-Verification (CoVe) 法を開発した。
ウィキデータからクローズドブックMultiSpanQAまで,さまざまなタスクにおける幻覚の減少を示す。
論文 参考訳（メタデータ） (2023-09-20T17:50:55Z) - On Hallucination and Predictive Uncertainty in Conditional Language
Generation [76.18783678114325]
高い予測の不確実性は幻覚の確率が高い。
認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。
提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
論文 参考訳（メタデータ） (2021-03-28T00:32:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。