論文の概要: FeB4RAG: Evaluating Federated Search in the Context of Retrieval
Augmented Generation
- arxiv url: http://arxiv.org/abs/2402.11891v1
- Date: Mon, 19 Feb 2024 07:06:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:49:58.638893
- Title: FeB4RAG: Evaluating Federated Search in the Context of Retrieval
Augmented Generation
- Title(参考訳): FeB4RAG:検索量増加の文脈におけるフェデレーション検索の評価
- Authors: Shuai Wang, Ekaterina Khramtsova, Shengyao Zhuang, Guido Zuccon
- Abstract要約: フェデレートされた検索システムは、複数の検索エンジンの検索結果を集約し、結果の品質を高め、ユーザの意図に合わせた適切なソースを選択する。
FEB4RAGはRAGフレームワーク内でのフェデレーション検索に特化した新しいデータセットである。
- 参考スコア(独自算出の注目度): 31.371489527686578
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated search systems aggregate results from multiple search engines,
selecting appropriate sources to enhance result quality and align with user
intent. With the increasing uptake of Retrieval-Augmented Generation (RAG)
pipelines, federated search can play a pivotal role in sourcing relevant
information across heterogeneous data sources to generate informed responses.
However, existing datasets, such as those developed in the past TREC FedWeb
tracks, predate the RAG paradigm shift and lack representation of modern
information retrieval challenges. To bridge this gap, we present FeB4RAG, a
novel dataset specifically designed for federated search within RAG frameworks.
This dataset, derived from 16 sub-collections of the widely used \beir
benchmarking collection, includes 790 information requests (akin to
conversational queries) tailored for chatbot applications, along with top
results returned by each resource and associated LLM-derived relevance
judgements. Additionally, to support the need for this collection, we
demonstrate the impact on response generation of a high quality federated
search system for RAG compared to a naive approach to federated search. We do
so by comparing answers generated through the RAG pipeline through a
qualitative side-by-side comparison. Our collection fosters and supports the
development and evaluation of new federated search methods, especially in the
context of RAG pipelines.
- Abstract(参考訳): フェデレートされた検索システムは、複数の検索エンジンから結果を集約し、結果の品質を高め、ユーザの意図に合わせた適切なソースを選択する。
Retrieval-Augmented Generation (RAG)パイプラインの取り込みの増加に伴い、フェデレーション検索は異種データソース間で関連情報をソーシングし、情報応答を生成する上で重要な役割を果たす。
しかしながら、過去のTREC FedWebトラックで開発されたような既存のデータセットは、RAGパラダイムシフトよりも早く、現代の情報検索の課題の表現が不足している。
このギャップを埋めるため、RAGフレームワーク内でのフェデレーション検索に特化した新しいデータセットFeB4RAGを提案する。
このデータセットは、広く使用されているShabeirベンチマークコレクションの16のサブコレクションから派生したもので、チャットボットアプリケーション用に調整された790の情報リクエスト(会話クエリ)と、各リソースから返される上位結果と、それに関連するLLM関連判断が含まれている。
さらに,本収集の必要性に対応するため,RAGの高品質なフェデレーションサーチシステムに対する応答生成への影響を,フェデレーションサーチに対するナイーブなアプローチと比較した。
我々は、RAGパイプラインで生成された回答を質的な側面比較によって比較する。
我々のコレクションは、特にRAGパイプラインの文脈において、新しいフェデレーション検索手法の開発と評価を支援している。
関連論文リスト
- Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models [21.115495457454365]
uRAGは、複数の下流検索拡張生成システム(RAG)を提供する統合検索エンジンを備えたフレームワークである。
我々は、訓練に従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築した。
論文 参考訳(メタデータ) (2024-04-30T19:51:37Z) - STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストとリレーショナルベース知識に関する大規模半構造検索ベンチマークSTARKを開発した。
多様な情報と複雑なテキスト特性を統合した,自然かつ現実的なユーザクエリを合成する,新しいパイプラインを設計する。
本ベンチマークは,検索システムの性能評価のための総合的なテストベッドとして機能する。
論文 参考訳(メタデータ) (2024-04-19T22:54:54Z) - Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。
本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。
本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
論文 参考訳(メタデータ) (2024-03-22T17:13:46Z) - Selecting Query-bag as Pseudo Relevance Feedback for Information-seeking Conversations [76.70349332096693]
情報検索対話システムは電子商取引システムで広く利用されている。
クエリバッグに基づくPseudo Relevance Feedback framework(QB-PRF)を提案する。
関連クエリを備えたクエリバッグを構築し、擬似シグナルとして機能し、情報検索の会話をガイドする。
論文 参考訳(メタデータ) (2024-03-22T08:10:32Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - RAG-Fusion: a New Take on Retrieval-Augmented Generation [0.0]
Infineonは、エンジニア、アカウントマネージャ、顧客が迅速に製品情報を取得する必要性を特定している。
この研究は人工知能(AI)と自然言語処理(NLP)の応用において大きな進歩をみせている。
論文 参考訳(メタデータ) (2024-01-31T22:06:07Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented
Generation of Large Language Models [55.47070014913373]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - Corrective Retrieval Augmented Generation [39.371798735872865]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳(メタデータ) (2024-01-29T04:36:39Z) - Evaluating Generative Ad Hoc Information Retrieval [58.800799175084286]
従来の文書ランキングの代わりに、多くの生成検索システムは、クエリや質問として表現された情報に対する回答として、接地された生成されたテキストを直接返します。
このような生成的アドホック検索を適切に評価するには,テキスト応答の有用性の定量化が不可欠である。
本分析は, アドホック検索に着目した生成検索システム評価のための基礎と新たな知見を提供する。
論文 参考訳(メタデータ) (2023-11-08T14:05:00Z) - Enhancing Multi-modal and Multi-hop Question Answering via Structured
Knowledge and Unified Retrieval-Generation [33.56304858796142]
マルチモーダルなマルチホップ質問応答は、異なるモーダルから複数の入力ソースを推論することで質問に答える。
既存の手法は、しばしば別々に証拠を検索し、その後言語モデルを使用して、得られた証拠に基づいて回答を生成する。
本稿では,これらの問題に対処するため,構造化知識と統一検索生成(RG)アプローチを提案する。
論文 参考訳(メタデータ) (2022-12-16T18:12:04Z) - Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。
クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。
GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
論文 参考訳(メタデータ) (2020-09-17T23:08:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。