論文の概要: Where Does Retrieval Fail? Evaluating RAG Architectures for Agricultural Advisory
- arxiv url: http://arxiv.org/abs/2608.14886v1
- Date: Fri, 14 Aug 2026 20:50:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.120773
- Title: Where Does Retrieval Fail? Evaluating RAG Architectures for Agricultural Advisory
- Title（参考訳）: 検索の失敗はどこにあるのか : 農業諮問機関におけるRAGアーキテクチャの評価
- Abstract要約: RAGシステムにおける検索品質は、単一の集計スコアとして一般的に報告されており、クエリタイプと言語条件の間で大きな違いを隠蔽することができる。
ベンガルの農業アドバイザリーでは、公式のアドバイザリー文書では正式な科学的用語が使われているが、農家の問い合わせはしばしば口語である。
バングラデシュの公式農業出版物284件から抽出した1000のクエリと2,882のナレッジノードの試験コレクションを構築した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval quality in RAG systems is commonly reported as a single aggregate score, which can hide large differences across query types and language conditions. We study this problem in Bengali agricultural advisory, where farmer queries are often colloquial while official advisory documents use formal scientific terminology. We construct a test collection of 1,000 queries and 2,882 knowledge nodes extracted from 284 official Bangladeshi agricultural publications, and use it to evaluate five retrieval architectures and six embedding models under three controlled language conditions. The results show that no single retrieval method is consistently best. For native Bengali queries, BM25 is the strongest single retriever (R@10 = 0.506) while Hybrid RRF reaches the highest overall R@10 of 0.539. However, dense retrieval performance varies sharply by query type: R@10 is 0.093 on colloquial farmer queries and 0.970 on formal safety queries. Across language conditions, BM25 R@10 drops from 0.506 on Bengali queries to 0.004 when English queries are matched against the Bengali corpus, while dense retrieval falls only from 0.464 to 0.425. We also find that embedding task configuration and passage length can each change reported R@10 by a factor of seven, independent of architecture. These results show why low-resource RAG evaluation should report performance by language condition and query type rather than relying on aggregate scores alone. The dataset and evaluation scripts are available at https://huggingface.co/datasets/RaiyanKhaan/AgriTrust-RAG.
- Abstract（参考訳）: RAGシステムにおける検索品質は、単一の集計スコアとして一般的に報告されており、クエリタイプと言語条件の間で大きな違いを隠蔽することができる。
ベンガルの農業アドバイザリーでは、公式のアドバイザリー文書では正式な科学的用語が使われているが、農家の問い合わせはしばしば口語である。
バングラデシュの公式農業出版物284件から抽出した1000のクエリと2,882のナレッジノードの試験コレクションを構築し,それを5つの検索アーキテクチャと6つの埋め込みモデルを3つの制御言語条件下で評価した。
その結果,単一の検索手法が常に最適であることを示す。
ネイティブベンガルクエリでは、BM25が最強のシングルレトリバー(R@10 = 0.506)であり、Hybrid RRFは0.539の総合R@10に達する。
しかし、検索性能はクエリタイプによって大きく変化し、R@10は口語ファーマークエリでは0.093、フォーマルな安全クエリでは0.970である。
言語条件全体では、BM25 R@10はベンガル語クエリの0.506から0.004に低下するが、英語クエリがベンガル語コーパスと一致した場合は0.464から0.425に低下する。
また、組込みタスクの構成と通過時間によって、アーキテクチャに依存しない7つの要因によって、R@10の変更を報告できることもわかりました。
これらの結果は,集約スコアのみに頼るのではなく,言語条件やクエリタイプによる低リソースRAG評価がパフォーマンスを報告すべき理由を示している。
データセットと評価スクリプトはhttps://huggingface.co/datasets/RaiyanKhaan/AgriTrust-RAGで公開されている。
関連論文リスト
- Query Translation vs. Cross-Lingual Embeddings for Sinhala-Tamil E-Government Information Retrieval [0.0]
本稿では,言語間情報検索手法の比較評価を行う。
クエリ変換(QT)にはGoogle Translate, NLLB, mBART50, Cross-Lingual Embeddings (CLE)が使用されている。
BGE-M3は最も高いRecall@15を達成し、シンハラ英語では96.2%、タミル英語では95.6%に達した。
論文 参考訳（メタデータ） (2026-08-13T04:49:39Z) - Finding the Right Tables and Columns: A Benchmark and Corpus-Adaptive Embeddings for SQL Schema Retrieval [9.741583305127994]
我々は5つのテキストから言語へのデータセットをテーブルと列の粒度の両方で検索タスクとして再キャストした。
オフザシェルフテキストとコード埋め込みは、この設定に不十分に転送されることを示す。
本稿では,対象コーパスから直接自然言語クエリを合成するコーパス適応微調整を提案する。
論文 参考訳（メタデータ） (2026-07-14T22:31:55Z) - The Multilingual Curse at the Retrieval Layer: Evidence from Amharic [49.25758237235551]
マルチリンガルベンチマークの強いゼロショットスコアは、現在のエンコーダが多くの言語で確実に転送される証拠としてしばしば考えられている。
この仮定は、表現が不十分で形態学的にリッチな言語に当てはまると我々は主張する。
我々は,ゼロショット多言語レトリバー,アンハリック細調整多言語レトリバー,単言語多言語レトリバーを比較した。
論文 参考訳（メタデータ） (2026-05-23T12:44:30Z) - A Comparative Study of Language Models for Khmer Retrieval-Augmented Question Answering [0.0]
Retrieval-Augmented Generation (RAG) は, 大規模言語モデル(LLM) のアウトプットを確定する上で有望なパラダイムとして出現している。
本稿では,Khmer 言語通信ドメイン文書に対する RAG に基づく質問応答システムを提案する。
論文 参考訳（メタデータ） (2026-05-21T07:36:01Z) - Tatarstan Toponyms: A Bilingual Dataset and Hybrid RAG System for Geospatial Question Answering [0.0]
本稿では,多言語トポノミックデータを用いた空間的自動解答について述べる。
タタールスタン共和国の地名のバイリンガルデータセットが導入された。
約39,000の質問文回答三重項からなる質問回答コーパスを構築する。
論文 参考訳（メタデータ） (2026-05-07T10:08:17Z) - Agentic Jackal: Live Execution and Semantic Value Grounding for Text-to-JQL [1.5773713958458309]
自然言語をJira Query Language(JQL)にマッピングするためのオープンな実行ベースのベンチマークは存在しない。
Jackalは、20万以上の問題のあるライブJiraインスタンスで10万の検証済みのNL-JQLペアで構成される、最初の大規模実行ベースのテキスト-to-JQLベンチマークである。
論文 参考訳（メタデータ） (2026-04-10T16:27:31Z) - Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning [50.27838512822097]
我々は,グローバルRAG機能を評価するために設計された最初のベンチマークであるGlobalQAを紹介する。
我々は,チャンクレベルの検索によって構造的コヒーレンスを保存するマルチツール協調フレームワークであるGlobalRAGを提案する。
Qwen2.5-14Bモデルでは、GlobalRAGは最強のベースラインである1.51 F1と比較して6.63 F1を達成した。
論文 参考訳（メタデータ） (2025-10-30T07:29:14Z) - Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。
提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。
RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
論文 参考訳（メタデータ） (2025-05-25T23:06:20Z) - ReasonIR: Training Retrievers for Reasoning Tasks [139.54343970560103]
ReasonIR-8Bは一般的な推論タスクのために特別に訓練された最初のレトリバーである。
新たに29.9 nDCG@10をリランカなしで、36.9 nDCG@10をリランカで達成している。
論文 参考訳（メタデータ） (2025-04-29T09:49:28Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳（メタデータ） (2024-07-16T17:58:27Z) - Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。
我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。
エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
論文 参考訳（メタデータ） (2022-10-13T15:18:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。