論文の概要: Know Your RAG: Dataset Taxonomy and Generation Strategies for Evaluating RAG Systems

• arxiv url: http://arxiv.org/abs/2411.19710v1
• Date: Fri, 29 Nov 2024 13:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:21:00.271262
• Title: Know Your RAG: Dataset Taxonomy and Generation Strategies for Evaluating RAG Systems
• Title（参考訳）: RAGを知る:RAGシステム評価のためのデータセット分類と生成戦略
• Authors: Rafael Teixeira de Lima, Shubham Gupta, Cesar Berrospi, Lokesh Mishra, Michele Dolfi, Peter Staar, Panagiotis Vagenas,
• Abstract要約: 検索性能を評価するために公開質問と回答(Q&A)データセットを使用することで、最適でないシステム設計につながることを示す。 本稿ではラベルとラベルをターゲットとしたデータ生成によるRAGデータセットの特徴付けに基づくソリューションを提案する。
• 参考スコア（独自算出の注目度）: 18.62773754004561
• License:
• Abstract: Retrieval Augmented Generation (RAG) systems are a widespread application of Large Language Models (LLMs) in the industry. While many tools exist empowering developers to build their own systems, measuring their performance locally, with datasets reflective of the system's use cases, is a technological challenge. Solutions to this problem range from non-specific and cheap (most public datasets) to specific and costly (generating data from local documents). In this paper, we show that using public question and answer (Q&A) datasets to assess retrieval performance can lead to non-optimal systems design, and that common tools for RAG dataset generation can lead to unbalanced data. We propose solutions to these issues based on the characterization of RAG datasets through labels and through label-targeted data generation. Finally, we show that fine-tuned small LLMs can efficiently generate Q&A datasets. We believe that these observations are invaluable to the know-your-data step of RAG systems development.
• Abstract（参考訳）: Retrieval Augmented Generation (RAG) システムは、業界におけるLarge Language Models (LLM) の広範な応用である。 多くのツールは、開発者が独自のシステムを構築する権限を与える一方で、システムのユースケースを反映したデータセットを使用して、ローカルでパフォーマンスを測定することは、技術的な課題である。 この問題に対する解決策は、非特異で安価な(ほとんどのパブリックデータセット)ものから、特定の(ローカル文書からデータを生成する)コストのかかるものまで様々である。 本稿では,検索性能を評価するために公開質問と回答(Q&A)データセットを使用することで,最適でないシステム設計が実現し,RAGデータセット生成のための共通ツールが不均衡なデータに繋がることを示す。 本稿では,ラベルによるRAGデータセットのキャラクタリゼーションとラベルをターゲットとしたデータ生成に基づく,これらの問題に対する解決策を提案する。 最後に、微調整された小型LCMがQ&Aデータセットを効率的に生成できることを示す。 これらの観測は、RAGシステム開発におけるノウ・ユー・データ・ステップにとって貴重なものであると考えています。

関連論文リスト

• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Synthetic Data Generation with Large Language Models for Personalized Community Question Answering [47.300506002171275]
  既存のデータセットであるSE-PQAに基づいてSy-SE-PQAを構築します。 以上の結果から,LCMはユーザのニーズに合わせてデータを生成する可能性が高いことが示唆された。 合成データは、たとえ生成されたデータが誤った情報を含むとしても、人書きのトレーニングデータを置き換えることができる。
  論文  参考訳（メタデータ） (2024-10-29T16:19:08Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation [8.377398103067508]
  我々は、RAGのユースケースのための大規模言語モデルを拡張するためのオープンソースのフレームワークであるRAG Foundryを紹介します。 RAG Foundryはデータ生成、トレーニング、推論、評価を単一のワークフローに統合する。 多様なRAG構成を持つLlama-3およびPhi-3モデルを拡張し,微調整することで,フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2024-08-05T15:16:24Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Dataset Regeneration for Sequential Recommendation [69.93516846106701]
  DR4SRと呼ばれるモデルに依存しないデータセット再生フレームワークを用いて、理想的なトレーニングデータセットを開発するためのデータ中心のパラダイムを提案する。 データ中心のパラダイムの有効性を示すために、我々はフレームワークを様々なモデル中心の手法と統合し、4つの広く採用されているデータセット間で大きなパフォーマンス改善を観察する。
  論文  参考訳（メタデータ） (2024-05-28T03:45:34Z)
• Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
  大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。 我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。 本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-15T16:30:14Z)
• Retrieval-Augmented Generation for AI-Generated Content: A Survey [38.50754568320154]
  このような課題に対処するためのパラダイムとして,レトリーバル拡張生成(RAG)が登場している。 RAGは情報検索プロセスを導入し、利用可能なデータストアから関連オブジェクトを検索することで生成プロセスを強化する。 本稿では,RAG手法をAIGCシナリオに統合する既存の取り組みを概観的にレビューする。
  論文  参考訳（メタデータ） (2024-02-29T18:59:01Z)
• Retrieval Augmented Generation Systems: Automatic Dataset Creation, Evaluation and Boolean Agent Setup [5.464952345664292]
  Retrieval Augmented Generation (RAG) システムは、Large-Language Model (LLM) 出力をドメイン固有データと時間機密データで拡張することで大きな人気を得ている。 本稿では,RAG戦略を定量的に比較するために,厳密なデータセット作成と評価のワークフローを提案する。
  論文  参考訳（メタデータ） (2024-02-26T12:56:17Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。