論文の概要: A Comparative Study of Language Models for Khmer Retrieval-Augmented Question Answering

• arxiv url: http://arxiv.org/abs/2605.22099v1
• Date: Thu, 21 May 2026 07:36:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 20:14:18.530626
• Title: A Comparative Study of Language Models for Khmer Retrieval-Augmented Question Answering
• Title（参考訳）: Khmer Retrieval-Augmented Question Answeringにおける言語モデルの比較検討
• Authors: Sereiwathna Ros, Phannet Pov, Ratanaktepi Chhor, Kimleang Ly, Wan-Sup Cho, Saksonita Khoeurn,
• Abstract要約: Retrieval-Augmented Generation (RAG) は, 大規模言語モデル(LLM) のアウトプットを確定する上で有望なパラダイムとして出現している。 本稿では,Khmer 言語通信ドメイン文書に対する RAG に基づく質問応答システムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) has emerged as a promising paradigm for grounding large language model (LLM) outputs in retrieved evidence, thereby reducing hallucination and improving factual accuracy. Its efficacy, however, remains largely unexamined for low-resource, non-Latin-script languages such as Khmer. In this paper, we present a RAG-based question answering system for Khmer-language telecom-domain documents. We conduct a two-phase comparative evaluation. First, we benchmark three embedding models: BGE-M3 (567M), Jina-Embeddings-v3 (570M), and Qwen3-Embedding (597M), for dense retrieval over Khmer documents. BGE-M3 consistently performs best, achieving a Hit Rate@3 of 0.285, File Hit Rate@3 of 0.700, MRR@3 of 0.221, and Precision@3 of 0.112, substantially outperforming the other retrievers. Second, using BGE-M3 as the selected retriever, we evaluate five generator backends: Qwen3 (8B), Qwen3.5 (9B), Sailor2-8B-Chat, SeaLLMs-v3-7B-Chat, and Llama-SEA-LION-v2-8B-IT, on a curated golden dataset of 200 Khmer question-answer pairs. To quantify system performance, we apply six RAGAS-inspired metrics: faithfulness, answer relevance, context relevance, factual correctness, answer similarity, and answer correctness. The results show no single model dominates across all metrics: Qwen3.5-9B achieves the highest faithfulness (0.859) and context relevance (0.726), Qwen3-8B attains the highest factual correctness (0.380), and SeaLLMs-v3-7B-Chat performs best on answer relevance (0.867), answer similarity (0.836), and answer correctness (0.599). These findings highlight that retriever choice remains a major bottleneck for Khmer RAG, while generator strengths vary depending on whether the priority is grounding, factual precision, or semantic similarity.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は, 大規模言語モデル (LLM) の出力を証拠として, 幻覚を減らし, 事実の精度を向上させるための有望なパラダイムとして登場した。 しかしながら、Khmerのような低リソースで非ラテン文字言語では、その効用はほとんど検討されていない。 本稿では,Khmer 言語通信ドメイン文書に対する RAG に基づく質問応答システムを提案する。 両相比較評価を行う。 まず, BGE-M3 (567M), Jina-Embeddings-v3 (570M), Qwen3-Embedding (597M) の3種類の埋め込みモデルをベンチマークし, Khmer 文書の検索を行う。 BGE-M3 は 0.285 の Hit Rate@3 、0.700 の File Hit Rate@3 、0.221 の MRR@3 、0.112 の Precision@3 を達成し、他のレトリバーよりも大幅に上回っている。 第2に, BGE-M3 を選択検索機として, 200 Khmer 問合せ200組のゴールデンデータセット上で, Qwen3 (8B), Qwen3.5 (9B), Sailor2-8B-Chat, SeaLLMs-v3-7B-Chat, Llama-SEA-LION-v2-8B-IT の5つのジェネレータバックエンドを評価した。 システム性能の定量化には,信頼度,回答関連性,文脈関連性,事実関連性,回答類似性,回答正当性という,RAGASにインスパイアされた6つの指標を適用した。 Qwen3.5-9Bは最高忠実度(0.859)、文脈関連度(0.726)、Qwen3-8Bは最高事実正しさ(0.380)、SeaLLMs-v3-7B-Chatは回答関連度(0.867)、回答類似度(0.836)、回答正しさ(0.599)を達成する。 これらの結果から,レトリバーの選択はKhmer RAGの主要なボトルネックであり,ジェネレータの強度は,優先度,事実精度,意味的類似性によって異なることが明らかとなった。

関連論文リスト

• Evaluation of Chunking Strategies for Effective Text Embedding in Low-Resource Language on Agricultural Documents [0.0]
  Average Retrieval Score (L2 distance)、Answer Relevance、Khmer Coverage、Khmer Intersection over Unionの4つの指標を用いてパフォーマンスを評価する。 我々は,300文字のチャンクサイズを持つ文字ベースの再帰的チャンク法において,最適な性能を示す。
  論文  参考訳（メタデータ） (2026-05-21T09:06:13Z)
• Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir [0.0]
  本稿では,大規模な言語モデルをBashkir言語に適応させるタスクに適用する,パラメータ効率のよい微調整手法の比較検討を行う。 各種アーキテクチャのモデルを用いた71k文書(46.9Mトークン)のBashkirテキストコーパスで実験評価を行った。
  論文  参考訳（メタデータ） (2026-05-06T14:14:35Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Qwen3-ASR Technical Report [71.87071808763484]
  2つの強力なオールインワン音声認識モデルと、新しい非自己回帰音声強制アライメントモデルを含むQwen3-ASRファミリを紹介する。 Qwen3-ASR-1.7BとQwen3-ASR-0.6Bは、言語識別と52の言語および方言のASRをサポートするASRモデルである。
  論文  参考訳（メタデータ） (2026-01-29T06:58:13Z)
• Pushing on Multilingual Reasoning Models with Language-Mixed Chain-of-Thought [23.847410628315544]
  英語とターゲット言語を切り替える推論スキーマである**Language-Mixed CoT**を紹介する。 我々は6つのファミリー(Qwen2.5、Llama-3.1、Gemma-3など)でNinveモデル(4B-35B)を訓練する。 我々のベストモデル**KO-REAson-35B*は、平均スコア(64.0 pm 25)で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-10-05T14:39:41Z)
• MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm [60.14048367611333]
  MonkeyOCRはドキュメント解析のためのビジョン言語モデルである。 SRR(Structure-Recognition-Relation)三重項パラダイムを活用することで、最先端の技術の進歩を図っている。
  論文  参考訳（メタデータ） (2025-06-05T16:34:57Z)
• Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
  トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。 提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。 RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
  論文  参考訳（メタデータ） (2025-05-25T23:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。