論文の概要: KinyaColBERT: A Lexically Grounded Retrieval Model for Low-Resource Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2507.03241v1
• Date: Fri, 04 Jul 2025 01:18:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.634207
• Title: KinyaColBERT: A Lexically Grounded Retrieval Model for Low-Resource Retrieval-Augmented Generation
• Title（参考訳）: KinyaColBERT:低資源検索用語彙基底検索モデル
• Authors: Antoine Nzeyimana, Andre Niyongabo Rubungo,
• Abstract要約: そこで本稿では,クエリとドキュメント間の単語レベルの遅延インタラクションと,2層トランスフォーマ符号化を組み合わせた形態素ベースのトークン化という,2つの重要な概念を統合した検索モデルKinyaColBERTを提案する。 評価の結果,KinyaColBERTはKinyarwandaの農業用ベンチマークにおいて,強いベースラインと商業用テキスト埋め込みAPIよりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 5.236553729261855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent mainstream adoption of large language model (LLM) technology is enabling novel applications in the form of chatbots and virtual assistants across many domains. With the aim of grounding LLMs in trusted domains and avoiding the problem of hallucinations, retrieval-augmented generation (RAG) has emerged as a viable solution. In order to deploy sustainable RAG systems in low-resource settings, achieving high retrieval accuracy is not only a usability requirement but also a cost-saving strategy. Through empirical evaluations on a Kinyarwanda-language dataset, we find that the most limiting factors in achieving high retrieval accuracy are limited language coverage and inadequate sub-word tokenization in pre-trained language models. We propose a new retriever model, KinyaColBERT, which integrates two key concepts: late word-level interactions between queries and documents, and a morphology-based tokenization coupled with two-tier transformer encoding. This methodology results in lexically grounded contextual embeddings that are both fine-grained and self-contained. Our evaluation results indicate that KinyaColBERT outperforms strong baselines and leading commercial text embedding APIs on a Kinyarwanda agricultural retrieval benchmark. By adopting this retrieval strategy, we believe that practitioners in other low-resource settings can not only achieve reliable RAG systems but also deploy solutions that are more cost-effective.
• Abstract（参考訳）: 最近の大規模言語モデル(LLM)技術の普及により、多くのドメインにわたるチャットボットや仮想アシスタントという形で、新しいアプリケーションが可能になる。 信頼ドメインにLLMを接地し、幻覚の問題を回避すべく、検索強化世代(RAG)が実現可能なソリューションとして登場した。 持続可能なRAGシステムを低リソース環境に展開するために,高い検索精度を実現することは,ユーザビリティ要件だけでなく,コスト削減戦略でもある。 キンヤルワンダ語データセットの実証的評価により、高い検索精度を達成する上で最も制限される要因は、事前訓練された言語モデルにおける言語カバレッジの制限と、サブワードトークン化の不十分であることがわかった。 そこで本稿では,クエリとドキュメント間の単語レベルの遅延インタラクションと,2層トランスフォーマ符号化を組み合わせた形態素ベースのトークン化という,2つの重要な概念を統合した検索モデルKinyaColBERTを提案する。 この手法は、微細で自己完結した文脈埋め込みを語彙的に基礎づける。 評価の結果,KinyaColBERTはKinyarwandaの農業用ベンチマークにおいて,強いベースラインと商業用テキスト埋め込みAPIよりも優れていたことが示唆された。 この検索戦略を採用することで、他の低リソース環境の実践者は、信頼性の高いRAGシステムだけでなく、よりコスト効率のよいソリューションをデプロイできると考えている。

関連論文リスト

• Tree-Based Text Retrieval via Hierarchical Clustering in RAGFrameworks: Application on Taiwanese Regulations [0.0]
  階層的なクラスタリングに基づく検索手法を提案する。 本手法は,意味的関連コンテンツを適応的に選択しながら,システム応答の精度と関連性を維持する。 我々のフレームワークは実装が簡単で、既存のRAGパイプラインと簡単に統合できます。
  論文  参考訳（メタデータ） (2025-06-16T15:34:29Z)
• Detect, Explain, Escalate: Low-Carbon Dialogue Breakdown Management for LLM-Powered Agents [30.13634341221476]
  大規模言語モデル(LLM)は、多くのアプリケーションを変えつつありますが、会話のブレークダウンへの感受性は、ユーザ信頼を損なう重要な課題です。 本稿では,低炭素運転を重視したLDMエージェントの対話分解を管理するためのフレームワーク「Detect, Explain, Escalate」を提案する。
  論文  参考訳（メタデータ） (2025-04-26T07:51:05Z)
• Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
  ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。 本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
  論文  参考訳（メタデータ） (2025-04-14T06:54:49Z)
• New Dataset and Methods for Fine-Grained Compositional Referring Expression Comprehension via Specialist-MLLM Collaboration [49.180693704510006]
  Referring Expression (REC) は、言語理解、画像理解、言語と画像の接点の相互作用を評価するためのクロスモーダルなタスクである。 MLLM(Multimodal Large Language Models)の試験場として機能する。
  論文  参考訳（メタデータ） (2025-02-27T13:58:44Z)
• Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル幻覚を緩和するための強力なアプローチとして登場した。 既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。 本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:56:20Z)
• ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Rationale-Guided Few-Shot Classification to Detect Abusive Language [5.977278650516324]
  乱用言語検出のためのRGFS(Rationale-Guided Few-Shot Classification)を提案する。 2つの理性統合BERTアーキテクチャ(RGFSモデル)を導入し、5つの異なる乱用言語データセット上でシステムを評価する。
  論文  参考訳（メタデータ） (2022-11-30T14:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。