論文の概要: Towards AI Evaluation in Domain-Specific RAG Systems: The AgriHubi Case Study

• arxiv url: http://arxiv.org/abs/2602.02208v1
• Date: Mon, 02 Feb 2026 15:15:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.245879
• Title: Towards AI Evaluation in Domain-Specific RAG Systems: The AgriHubi Case Study
• Title（参考訳）: ドメイン特化RAGシステムにおけるAI評価に向けて:AgriHubiケーススタディ
• Authors: Md. Toufique Hasan, Ayman Asad Khan, Mika Saari, Vaishnavi Bankhele, Pekka Abrahamsson,
• Abstract要約: AgriHubiは、フィンランド語による農業意思決定支援のためのドメイン適応型検索拡張生成システムである。 このシステムは、答えの完全性、言語的正確性、そして認識された信頼性において明らかな向上を示す。
• 参考スコア（独自算出の注目度）: 0.7257685311746803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models show promise for knowledge-intensive domains, yet their use in agriculture is constrained by weak grounding, English-centric training data, and limited real-world evaluation. These issues are amplified for low-resource languages, where high-quality domain documentation exists but remains difficult to access through general-purpose models. This paper presents AgriHubi, a domain-adapted retrieval-augmented generation (RAG) system for Finnish-language agricultural decision support. AgriHubi integrates Finnish agricultural documents with open PORO family models and combines explicit source grounding with user feedback to support iterative refinement. Developed over eight iterations and evaluated through two user studies, the system shows clear gains in answer completeness, linguistic accuracy, and perceived reliability. The results also reveal practical trade-offs between response quality and latency when deploying larger models. This study provides empirical guidance for designing and evaluating domain-specific RAG systems in low-resource language settings.
• Abstract（参考訳）: 大規模言語モデルは知識集約的なドメインを約束するが、農業におけるそれらの利用は、弱い基盤、英語中心のトレーニングデータ、限られた実世界の評価によって制限される。 これらの問題は、高品質なドメインドキュメンテーションが存在するが、汎用モデルを通してアクセスするのが困難である低リソース言語に対して増幅されている。 本稿では,フィンランド語農業意思決定支援のためのドメイン適応型検索強化世代(RAG)システムであるAgriHubiを提案する。 AgriHubiはフィンランドの農業文書をオープンなPOROファミリーモデルと統合し、明示的なソースグラウンドとユーザのフィードバックを組み合わせて反復的な洗練をサポートする。 8回にわたって開発され,2つのユーザスタディを通じて評価され,回答の完全性,言語的正確性,信頼性が明らかに向上した。 結果はまた、より大きなモデルをデプロイする際の応答品質とレイテンシの実践的なトレードオフを明らかにします。 本研究では,低リソース言語設定におけるドメイン固有RAGシステムの設計と評価に関する実証的なガイダンスを提供する。

関連論文リスト

• Cost-Efficient Cross-Lingual Retrieval-Augmented Generation for Low-Resource Languages: A Case Study in Bengali Agricultural Advisory [0.0]
  多くの発展途上国では、永続的な言語障壁のため、信頼できる農業アドバイザリーへのアクセスが制限されている。 本稿では,ベンガル農業アドバイザリーのための費用効率・言語横断型検索・拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-05T12:41:44Z)
• Seeing Through the MiRAGE: Evaluating Multimodal Retrieval Augmented Generation [75.66731090275645]
  マルチモーダルソースからの検索拡張生成(RAG)評価フレームワークであるMiRAGEを紹介する。 MiRAGEは、InfoF1とCiteF1で構成されるマルチモーダルRAG評価のためのクレーム中心のアプローチである。
  論文  参考訳（メタデータ） (2025-10-28T18:21:19Z)
• A Multimodal Conversational Assistant for the Characterization of Agricultural Plots from Geospatial Open Data [0.0]
  本研究では,多モーダル検索と大規模言語モデル(LLM)を統合したオープンソースの対話型アシスタントを提案する。 提案したアーキテクチャは, 検索拡張生成(RAG)によるオクトロフォト, セチネル-2植生指標, およびユーザ提供文書を組み合わせたものである。 予備的な結果は、農業用クエリに対して明確で、関連性があり、コンテキスト対応の応答を生成することができることを示している。
  論文  参考訳（メタデータ） (2025-09-22T09:02:53Z)
• Leveraging Synthetic Data for Question Answering with Multilingual LLMs in the Agricultural Domain [1.0144032120138065]
  本研究は,インドの農業特化資料から多言語(ヒンディー語,パンジャービ語)の合成データセットを生成する。 人為的データセットの評価は、事実性、関連性、農業コンセンサスにおいて著しく改善されている。
  論文  参考訳（メタデータ） (2025-07-22T19:25:10Z)
• Building an Efficient Multilingual Non-Profit IR System for the Islamic Domain Leveraging Multiprocessing Design in Rust [0.0]
  本研究は、イスラムドメインのための多言語非営利IRシステムの開発に焦点を当てている。 ドメイン適応の継続事前学習やモデルサイズ削減のための言語削減といった手法を用いて,軽量な多言語検索モデルを構築した。
  論文  参考訳（メタデータ） (2024-11-09T11:37:18Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
  大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。 既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。 本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
  論文  参考訳（メタデータ） (2024-06-17T15:59:49Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。