論文の概要: Do Open Language Models Invent Scripture? BILAL-BENCH: Benchmarking Islamic-Source Fabrication in Bengali

• arxiv url: http://arxiv.org/abs/2610.40996v1
• Date: Thu, 29 Oct 2026 21:25:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.498284
• Title: Do Open Language Models Invent Scripture? BILAL-BENCH: Benchmarking Islamic-Source Fabrication in Bengali
• Title（参考訳）: Open Language Models Invent Scripture? Bilal-BENCH: Bengaliにおけるイスラムソース作成のベンチマーク
• Abstract要約: BILAL-BENCHはベンガルで開かれたIS製造のための240クエストベンチマークである。 クルアニックの属性、ハディス、フィク、現代の問題、敵の虚偽の前提のプロンプトをカバーしている。 7つのモデルのうち6つは79.3-95.3%のソース生成問題で確実に製造され、スケールによる単調な改善はない。
• 参考スコア（独自算出の注目度）: 0.17188280334580197
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: When a language model invents a Qur'anic verse or hadith, it gives false authority to text that readers may treat as sacred. Existing Islamic hallucination benchmarks are largely Arabic and often closed-ended, while Bengali resources mainly study general-domain hallucination or factual knowledge. We introduce BILAL-BENCH, a 240-question expert-verified benchmark for open-ended Islamic-source fabrication in Bengali. It covers Qur'anic attribution, hadith, fiqh, contemporary issues, and adversarial false-premise prompts, and uses a two-axis rubric that separates source errors from assertiveness. We evaluate seven open-weight models from 1B to 120B on 1,680 double-annotated responses. Six of the seven models confidently fabricate on 79.3-95.3% of source-production questions, with no monotonic improvement from scale. Hadith provenance is the weakest category across models: only two of 315 responses are correct and correctly sourced. The two 8B BanglaLLaMA variants have similar confident-fabrication rates but different error profiles. Models vary far more in whether they withhold a claim they cannot support than in source accuracy: appropriate abstention or false-premise correction ranges from 6 to 46 responses across the benchmark, and does not track parameter count.
• Abstract（参考訳）: 言語モデルがクルアーン語の詩やハディースを発明するとき、それは読者が神聖な扱いをするかもしれないテキストに対して偽の権威を与える。 既存のイスラム幻覚ベンチマークはアラビア語であり、しばしば閉鎖されるが、ベンガルの資源は主に一般領域幻覚や事実知識を研究する。 BILAL-BENCHは、ベンガルのオープンエンドイスラムオープンソース製造のための240のクエスト専門家検証ベンチマークである。 クルアニックの属性、ハディス、フィク、現代の問題、敵の虚偽の前提のプロンプトをカバーし、ソースエラーとアサーティブネスを分離する2軸のルーリックを使用する。 1Bから120Bまでのオープンウェイトモデルを1,680のダブルアノテート応答で評価した。 7つのモデルのうち6つは79.3-95.3%のソース生成問題で確実に製造され、スケールによる単調な改善はない。 315の応答のうち2つだけが正しく、正しくソース化されている。 8B BanglaLLaMA の2つの変種は、同様の自信フェーブリケーションレートを持つが、異なるエラープロファイルを持つ。 適切な棄却または虚偽の前提修正は、ベンチマーク全体で6から46のレスポンスで、パラメータ数を追跡しない。

関連論文リスト

• Literal Lock-In: How Test Language Shifts Literal Attraction in Typed Decision Models on Bengali Idioms [0.6875312133832079]
  決定モデルは、何も生成せず、合理的であり、思考の連鎖は適用されない。 エンコーダスコアラ、デコーダスコアラ、クローズドAPIの3つを監査する。 イディオムのリテラルグラスをオプションリストにドロップすると、すべてのアームがそれに向かって描画される。 精度が低いセマンティックスフリーのオプションリストでは、ベストキャリブレーションされたアームが信頼度0.82と報告している。
  論文  参考訳（メタデータ） (2026-10-15T18:19:02Z)
• Muslim: A Deployed Arabic Voice AI Platform for Grounded Islamic Knowledge [0.0]
  原文(投稿日:2009/01/16)へのリンク 私たちは、アラビア語の音声AIプラットフォームであるムスリムを紹介します。 実測のレイテンシと精度の数値(98.4%の応答バリデーション精度、0.9-1.7sのエンドツーエンド音声レイテンシ)を報告し、実運用における具体的なエンジニアリング上のトレードオフと制限について論じる。
  論文  参考訳（メタデータ） (2026-09-25T16:51:22Z)
• A Corpus-Aligned Uthmani-to-Standard Quranic Word Mapping and a Deterministic Recitation Validator [0.0]
  クラーニック文字は2つの正書法で配布されており、すべての印刷されたムシャフで使用されるウスマニ文字と、すべての主要なアラビア語のNLPツールが構築される標準アラビア語形式(Imla'i)である。 我々は2,290対のコーパス整列 Uthmani-to-Standard ワードマッピングを作成し,完全な6,236進法を両正書法に整列させて構築した。 我々は,4階層の逆マッチング探索と単語エラー率グレードフィードバックを用いた,決定論的でLLMのないクラニック・リサイクリング・バリケータを構築した。
  論文  参考訳（メタデータ） (2026-09-14T03:20:42Z)
• Right Frame, Wrong Rule: Cultural Cues Expose the Financial Knowledge Gap They Were Meant to Close [57.963463622270275]
  イスラム金融における規範的多元主義を4つの分類法を用いて研究する。 文化的キューは1つのフレームワークに向かってモデルを操縦するが、そのモデルはそのフレームワーク内で間違った答えを選択する。
  論文  参考訳（メタデータ） (2026-09-01T09:46:53Z)
• Ansari: A Retrieval-Grounded Islamic AI Assistant -- Architecture, Deployment, and Lessons from 140,000 Conversations [0.43748379918040853]
  Ansariは、2023年6月以来14万件以上の会話を処理してきた、検索機能を備えたイスラムAIアシスタントだ。 その答えは、検索したものに基づいてのみ答え、検証のために引用がアタッチされる。 認定機関試験におけるゼロショット性能、ラマダンでの人格評価、アンサリが現在、フロンティアモデルよりも上位にある2つの独立した外部ベンチマークなど、いくつかの相補的な評価結果について報告する。
  論文  参考訳（メタデータ） (2026-06-30T20:17:22Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• Can LLMs Write Faithfully? An Agent-Based Evaluation of LLM-generated Islamic Content [1.922162958936778]
  大きな言語モデルはイスラム教の指導にますます使われるが、テキストを誤って引用したり、法学を誤用したり、文化的に矛盾した反応を生んだりするリスクがある。 GPT-4o、Ansari AI、Fanarの評価を、真正のイスラムブログからのプロンプトでパイロットする。 GPT-4oはイスラムの正確さ(3.93)とCitation(3.38)、Ansari AI(3.68, 3.32)、Fanar Lagged(2.76, 1.82)で最高点を記録した。
  論文  参考訳（メタデータ） (2025-10-28T14:05:55Z)
• Hala Technical Report: Building Arabic-Centric Instruction & Translation Models at Scale [51.41777906371754]
  私たちはHalaを紹介します。これはアラビア語中心の命令と翻訳モデルのファミリーで、私たちのトランスレーショナル・トゥン・パイプラインで構築されています。 軽量言語モデル LFM2-1.2B は、このデータに基づいて微調整され、高品質の英語の命令セットをアラビア語に翻訳するために使用される。 我々は、Halaモデルを350M、700M、1.2B、9Bパラメータでトレーニングし、アラビア語の特殊化とベースモデルの強度のバランスをとるためにスラープマージを適用します。
  論文  参考訳（メタデータ） (2025-09-17T14:19:28Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。