論文の概要: Grounding Arabic LLMs in the Doha Historical Dictionary: Retrieval-Augmented Understanding of Quran and Hadith
- arxiv url: http://arxiv.org/abs/2603.23972v1
- Date: Wed, 25 Mar 2026 06:09:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-26 21:06:11.155112
- Title: Grounding Arabic LLMs in the Doha Historical Dictionary: Retrieval-Augmented Understanding of Quran and Hadith
- Title(参考訳): ドーハ歴史辞典におけるアラビア語のLLMの接地 : クァランとハディスの検索・拡張的理解
- Authors: Somaya Eltanbouly, Samer Rashwani,
- Abstract要約: ダイアクロニック・レキソグラフィーの知識を基盤とした検索強化型生成フレームワークを開発した。
汎用コーパスに依存する従来のRAGシステムとは異なり、我々の手法はドハ歴史辞典から証拠を回収する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have achieved remarkable progress in many language tasks, yet they continue to struggle with complex historical and religious Arabic texts such as the Quran and Hadith. To address this limitation, we develop a retrieval-augmented generation (RAG) framework grounded in diachronic lexicographic knowledge. Unlike prior RAG systems that rely on general-purpose corpora, our approach retrieves evidence from the Doha Historical Dictionary of Arabic (DHDA), a large-scale resource documenting the historical development of Arabic vocabulary. The proposed pipeline combines hybrid retrieval with an intent-based routing mechanism to provide LLMs with precise, contextually relevant historical information. Our experiments show that this approach improves the accuracy of Arabic-native LLMs, including Fanar and ALLaM, to over 85\%, substantially reducing the performance gap with Gemini, a proprietary large-scale model. Gemini also serves as an LLM-as-a-judge system for automatic evaluation in our experiments. The automated judgments were verified through human evaluation, demonstrating high agreement (kappa = 0.87). An error analysis further highlights key linguistic challenges, including diacritics and compound expressions. These findings demonstrate the value of integrating diachronic lexicographic resources into retrieval-augmented generation frameworks to enhance Arabic language understanding, particularly for historical and religious texts. The code and resources are publicly available at: https://github.com/somayaeltanbouly/Doha-Dictionary-RAG.
- Abstract(参考訳): 大型言語モデル (LLM) は多くの言語タスクにおいて顕著な進歩を遂げているが、クアン語やハディス語のような複雑な歴史的・宗教的アラビア語のテキストと格闘し続けている。
この制限に対処するため、ダイアクロニック・レキソグラフィーの知識を基盤とした検索強化世代(RAG)フレームワークを開発した。
汎用コーパスに依存する従来のRAGシステムとは異なり、我々のアプローチはアラビア語の歴史的発展を示す大規模な資料であるドハ歴史辞典(DHDA)から証拠を回収する。
提案したパイプラインは、ハイブリッド検索とインテントベースのルーティング機構を組み合わせることで、LLMに正確な、文脈的に関係のある歴史的情報を提供する。
実験の結果,Fanar や ALLaM などアラビア原産 LLM の精度は 85% 以上に向上し,プロプライエタリな大規模モデルである Gemini による性能ギャップを大幅に減らした。
Geminiは、我々の実験における自動評価のためのLCM-as-a-judgeシステムとしても機能する。
自動判定は人的評価によって検証され,高い一致(カッパ=0.87)を示した。
エラー分析は、ダイアクリティカルティクスや複合表現など、重要な言語的課題をさらに強調する。
これらの知見は、特に歴史的・宗教的な文献においてアラビア語理解を高めるために、ダイアクロニック・レキソグラフィー資源を検索強化世代フレームワークに統合する価値を示している。
コードとリソースは、https://github.com/somayaeltanbouly/Doha-Dictionary-RAGで公開されている。
関連論文リスト
- Enhanced Arabic Text Retrieval with Attentive Relevance Scoring [12.053940320312355]
アラビア語は自然言語処理と情報検索に特に挑戦している。
アラビア語の国際的重要性は高まっているが、NLPの研究やベンチマークの資源では未だに不足している。
本稿ではアラビア語に特化した拡張されたDense Passage Retrievalフレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-31T10:18:28Z) - Second Language (Arabic) Acquisition of LLMs via Progressive Vocabulary Expansion [70.23624194206171]
本稿では,アラブ世界における大規模言語モデル(LLM)の民主化の必要性に対処する。
アラビア語のLLMの実用的な目的の1つは、復号を高速化するトークン化器にアラビア語固有の語彙を使用することである。
第二言語(アラビア語)による人への獲得の間に語彙学習に触発されたAraLLaMAは、進歩的な語彙拡張を採用している。
論文 参考訳(メタデータ) (2024-12-16T19:29:06Z) - Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。
我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。
我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
論文 参考訳(メタデータ) (2024-10-14T18:44:23Z) - Exploring Retrieval Augmented Generation in Arabic [0.0]
Retrieval Augmented Generation (RAG) は自然言語処理において強力な技術である。
本稿ではアラビア文字に対するRAGの実装と評価について事例研究を行う。
論文 参考訳(メタデータ) (2024-08-14T10:03:28Z) - ATHAR: A High-Quality and Diverse Dataset for Classical Arabic to English Translation [1.3750624267664155]
古典アラビア語は、アラブ文化、哲学、科学文学の黄金時代を包含する重要な時代である。
我々は古典アラビア語の翻訳データセットが不足していることを特定し、スコープやトピックに制限されることが多い。
ATHARデータセットは、66,000の高品質のアラビア語から英語への翻訳サンプルからなる。
論文 参考訳(メタデータ) (2024-07-29T09:45:34Z) - AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。
目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
論文 参考訳(メタデータ) (2023-09-21T13:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。