論文の概要: They Know Where It Is, But Not What It Says: A Bilingual Hallucination Benchmark of Hadith Recall in Open LLMs

• arxiv url: http://arxiv.org/abs/2611.02587v1
• Date: Mon, 02 Nov 2026 06:12:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.569376
• Title: They Know Where It Is, But Not What It Says: A Bilingual Hallucination Benchmark of Hadith Recall in Open LLMs
• Title（参考訳）: 彼らはそれがどこにあるのかを知っているが、それが何を言っているのかは知らない:オープンLLMにおける習慣リコールのバイリンガル幻覚ベンチマーク
• Abstract要約: 大規模な言語モデルは、宗教的な知識のためにますます参考にされている。 習慣的リコールは、高い能力を持ち、検証可能なタスクである。 本研究では,オープンウェイトでローカルにデプロイ可能な5つの言語モデルを探索するベンチマークを紹介する。
• 参考スコア（独自算出の注目度）: 11.64219373822575
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models are increasingly consulted for religious knowledge, including the recall of specific Hadith (recorded sayings and actions of the Prophet Muhammad, peace be upon him). Unlike open-ended generation, Hadith recall is a high-stakes, verifiable task: a reference (collection, chapter, and Hadith number) has exactly one correct text, and any deviation from it constitutes a fabrication that can be mistaken for authentic scripture. This study introduces a bilingual (English/Arabic) benchmark that probes five open-weight, locally-deployable language models (Mistral-7B, Gemma3-4B, Jais-7B, ALLaM-7B, and Phi4-mini-3.8B) across all six canonical Sunni Hadith collections (Sahih al-Bukhari, Sahih Muslim, Sunan Abi Da'ud, Jami' al-Tirmidhi, Sunan an-Nasa'i, Sunan Ibn Majah), sampling 500 Hadith per collection (3,000 per model per language, 30,000 responses total). Each model is given only the bibliographic reference and asked to reproduce the exact Hadith text, with no retrieval augmentation, and is scored on lexical fidelity (BLEU) and semantic fidelity (multilingual cosine similarity), with refusals flagged separately. Across all five models and both languages, 0% of 30,000 responses achieve both high lexical and high semantic fidelity, i.e., an exact, verifiable match to the source text. Arabic responses fare uniformly worse than English. These findings suggest that current open-weight LLMs, used without retrieval grounding, are unreliable and potentially dangerous sources for exact religious-text recall, and that deployment for Islamic scholarship should mandate retrieval-augmented generation over a verified corpus rather than parametric memory. The complete code, prompts, evaluation pipeline, and scored outputs are publicly available at https://github.com/dayam8696/Hadith-Hallucination-Benchmark.
• Abstract（参考訳）: 大規模な言語モデルは、特定のハディスの思い出(預言者ムハンマドの発言や行動が記録されているように、平和は彼にもたらされる)を含む宗教的な知識のためにますます相談されている。 オープン・エンド・ジェネレーションとは異なり、ハディス・リコールは高い精度で検証可能なタスクであり、参照(集合、章、ハディス番号)は正確に1つの正しいテキストを持ち、それからの逸脱は、真正の経典と間違えられるような製法を構成する。 本研究は,サンニ・ハディス・コレクション(Sahih al-Bukhari, Sahih Muslim, Sunan Abi Da'ud, Jami' al-Tirmidhi, Sunan an-Nasa'i, Sunan Ibn Majah),500 Hadith per collection(言語毎3000,30,000応答)の5つのオープン・ウェイト・ローカル・デプロイ可能な言語モデル(Mistral-7B, Gemma3-4B, Jais-7B, ALLaM-7B, Phi4-mini-3.8B)を探索するバイリンガル(英語/アラビア語)ベンチマークを紹介する。 各モデルは書誌参照のみを与えられ、検索拡張なしで正確なハディステキストを再現するよう要求され、レキシカルフィデリティ(BLEU)とセマンティックフィデリティ(多重コサイン類似性)でスコアされ、拒絶は別々にフラグ付けされる。 5つのモデルと両方の言語にまたがって、3万の応答の0%は高い語彙と高い意味的忠実性、すなわち、正確な検証可能なソースコードの一致を達成している。 アラビア語の応答は英語より一様に劣る。 これらの結果は、現在のオープンウェイトLSMは、正確な宗教的テキストリコールのために信頼性が低く、潜在的に危険な情報源であり、イスラム奨学金の展開は、パラメトリックメモリではなく、検証済みコーパスよりも、検索増強世代を委任すべきであることを示している。 完全なコード、プロンプト、評価パイプライン、アウトプットはhttps://github.com/dayam8696/Hadith-Hallucination-Benchmarkで公開されている。

関連論文リスト

• Do Open Language Models Invent Scripture? BILAL-BENCH: Benchmarking Islamic-Source Fabrication in Bengali [0.17188280334580197]
  BILAL-BENCHはベンガルで開かれたIS製造のための240クエストベンチマークである。 クルアニックの属性、ハディス、フィク、現代の問題、敵の虚偽の前提のプロンプトをカバーしている。 7つのモデルのうち6つは79.3-95.3%のソース生成問題で確実に製造され、スケールによる単調な改善はない。
  論文  参考訳（メタデータ） (2026-10-29T21:25:31Z)
• Retrieving Biblical Intertextual References in Karen Blixen's Seven Gothic Tales [47.55635861975207]
  我々は、189の注釈付き参照のベンチマークを構築し、デンマークの古約聖書と新約聖書の翻訳の31,170節すべてに対する検索を評価した。 TF-IDFとBM25を多言語およびデンマーク語文エンコーダと比較した。 微調整のDFM-largeは、全体的なR@10を0.265から0.508に引き上げ、アロジションのパフォーマンスを2倍以上に向上させる。
  論文  参考訳（メタデータ） (2026-09-28T17:59:27Z)
• A Corpus-Aligned Uthmani-to-Standard Quranic Word Mapping and a Deterministic Recitation Validator [0.0]
  クラーニック文字は2つの正書法で配布されており、すべての印刷されたムシャフで使用されるウスマニ文字と、すべての主要なアラビア語のNLPツールが構築される標準アラビア語形式(Imla'i)である。 我々は2,290対のコーパス整列 Uthmani-to-Standard ワードマッピングを作成し,完全な6,236進法を両正書法に整列させて構築した。 我々は,4階層の逆マッチング探索と単語エラー率グレードフィードバックを用いた,決定論的でLLMのないクラニック・リサイクリング・バリケータを構築した。
  論文  参考訳（メタデータ） (2026-09-14T03:20:42Z)
• Ansari: A Retrieval-Grounded Islamic AI Assistant -- Architecture, Deployment, and Lessons from 140,000 Conversations [0.43748379918040853]
  Ansariは、2023年6月以来14万件以上の会話を処理してきた、検索機能を備えたイスラムAIアシスタントだ。 その答えは、検索したものに基づいてのみ答え、検証のために引用がアタッチされる。 認定機関試験におけるゼロショット性能、ラマダンでの人格評価、アンサリが現在、フロンティアモデルよりも上位にある2つの独立した外部ベンチマークなど、いくつかの相補的な評価結果について報告する。
  論文  参考訳（メタデータ） (2026-06-30T20:17:22Z)
• Grounding Arabic LLMs in the Doha Historical Dictionary: Retrieval-Augmented Understanding of Quran and Hadith [0.0]
  ダイアクロニック・レキソグラフィーの知識を基盤とした検索強化型生成フレームワークを開発した。 汎用コーパスに依存する従来のRAGシステムとは異なり、我々の手法はドハ歴史辞典から証拠を回収する。
  論文  参考訳（メタデータ） (2026-03-25T06:09:42Z)
• From RAG to Agentic RAG for Faithful Islamic Question Answering [12.67590523116037]
  ISLAMICFAITHQAは、3,810itemのバイリンガル(アラビア語/英語)生成ベンチマークであり、原子シングルゴールドの回答である。 我々はまた,反復的証拠探索と回答のための構造化ツールコールを用いたエージェント的クラングラウンドフレームワーク(エージェントRAG)を開発した。
  論文  参考訳（メタデータ） (2026-01-12T13:28:28Z)
• One Thousand and One Pairs: A "novel" challenge for long-context language models [56.60667988954638]
  NoChaは、67冊の架空の書籍に関する1,001対の真偽の主張のデータセットである。 当社のアノテータは、NoChaにおけるペアの最大シェアは、本全体に対するグローバルな推論を必要としていることを確認しています。 平均的なモデルでは、文レベルの検索しか必要としないペアの方が、グローバルな推論よりもはるかに優れています。
  論文  参考訳（メタデータ） (2024-06-24T02:03:57Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。