論文の概要: Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models

• arxiv url: http://arxiv.org/abs/2405.00175v1
• Date: Tue, 30 Apr 2024 19:51:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 17:16:17.693997
• Title: Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models
• Title（参考訳）: 機械の検索エンジンに向けて:複数検索型大規模言語モデルのための統一ランク付け
• Authors: Alireza Salemi, Hamed Zamani,
• Abstract要約: uRAGは、複数の下流検索拡張生成システム(RAG)を提供する統合検索エンジンを備えたフレームワークである。 我々は、訓練に従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築した。
• 参考スコア（独自算出の注目度）: 21.115495457454365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces uRAG--a framework with a unified retrieval engine that serves multiple downstream retrieval-augmented generation (RAG) systems. Each RAG system consumes the retrieval results for a unique purpose, such as open-domain question answering, fact verification, entity linking, and relation extraction. We introduce a generic training guideline that standardizes the communication between the search engine and the downstream RAG systems that engage in optimizing the retrieval model. This lays the groundwork for us to build a large-scale experimentation ecosystem consisting of 18 RAG systems that engage in training and 18 unknown RAG systems that use the uRAG as the new users of the search engine. Using this experimentation ecosystem, we answer a number of fundamental research questions that improve our understanding of promises and challenges in developing search engines for machines.
• Abstract（参考訳）: 本稿では,複数の下流検索拡張生成(RAG)システムを実現する統一検索エンジンを備えたフレームワークであるuRAGを紹介する。 各RAGシステムは、オープンドメイン質問応答、事実検証、エンティティリンク、関係抽出など、独自の目的のために検索結果を消費する。 本稿では,検索モデルの最適化に係わる検索エンジンと下流RAGシステム間の通信を標準化する汎用的なトレーニングガイドラインを提案する。 これにより、トレーニングに従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築するための基盤となる。 この実験エコシステムを利用することで、機械の検索エンジン開発における約束や課題の理解を深める、いくつかの基本的な研究課題に答える。

関連論文リスト

• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [65.23793829741014]
  Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。 コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。 Embodied-RAGがRAGをロボット領域に効果的にブリッジし、200以上の説明とナビゲーションクエリをうまく処理できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T21:44:11Z)
• Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation [53.285436927963865]
  本稿では,公正ランキングと統合されたRAGシステムの最初の体系的評価について述べる。 本稿では,RAGシステムで活用されるランキングにおいて,各項目の公正な露出を測定することに焦点を当てる。 以上の結果から,RAGシステムは高い世代品質を維持でき,多くの場合,従来のRAGシステムよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-09-17T23:10:04Z)
• A Knowledge-Centric Benchmarking Framework and Empirical Study for Retrieval-Augmented Generation [4.359511178431438]
  Retrieval-Augmented Generation (RAG)は、検索機構を統合することで生成モデルを強化する。 その利点にもかかわらず、RAGは特に現実世界のクエリを効果的に処理する上で、大きな課題に直面している。 本稿では,これらの課題に対処する新しいRAGベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-09-03T03:31:37Z)
• Ragnarök: A Reusable RAG Framework and Baselines for TREC 2024 Retrieval-Augmented Generation Track [51.25144287084172]
  RAGベースの検索システムを構築、テスト、視覚化、体系的に評価するためのアリーナを持つことが不可欠である。 TREC 2024 RAG Trackを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:37:52Z)
• The 2nd FutureDial Challenge: Dialog Systems with Retrieval Augmented Generation (FutureDial-RAG) [23.849336345191556]
  この課題は、3000近い高品質なダイアログを備えた実際の顧客サービスデータセットであるMobileCS2データセットの上に構築されている。 本稿では,知識検索のためのトラック1と応答生成のためのトラック2という2つのタスクを定義する。 我々は,2つのトラックのベースラインシステムを構築し,そのシステムが正確な検索を行い,情報的かつ一貫性のある応答を生成できるかどうかを計測する。
  論文  参考訳（メタデータ） (2024-05-21T07:35:21Z)
• Comparative Analysis of Retrieval Systems in the Real World [0.0]
  本研究の目的は,その性能を精度と効率の観点から評価・比較することである。 この分析では、Azure Cognitive Search RetrieverとGPT-4、PineconeのCanopyフレームワーク、LangchainとPineconeのさまざまな言語モデルなど、さまざまなテクノロジの組み合わせについて検討している。 この分析の動機は、様々な領域における堅牢で応答性の高い質問応答システムに対する需要の増加から生じる。
  論文  参考訳（メタデータ） (2024-05-03T12:30:01Z)
• FeB4RAG: Evaluating Federated Search in the Context of Retrieval Augmented Generation [31.371489527686578]
  フェデレートされた検索システムは、複数の検索エンジンの検索結果を集約し、結果の品質を高め、ユーザの意図に合わせた適切なソースを選択する。 FEB4RAGはRAGフレームワーク内でのフェデレーション検索に特化した新しいデータセットである。
  論文  参考訳（メタデータ） (2024-02-19T07:06:52Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Seven Failure Points When Engineering a Retrieval Augmented Generation System [1.8776685617612472]
  RAGシステムは,大規模言語モデルからの幻覚応答の問題を解決することを目的としている。 RAGシステムは情報検索システム固有の制限に悩まされている。 本稿では3つのケーススタディからRAGシステムの故障点について報告する。
  論文  参考訳（メタデータ） (2024-01-11T12:04:11Z)
• Large Language Models for Information Retrieval: A Survey [58.30439850203101]
  情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。 近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。 LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
  論文  参考訳（メタデータ） (2023-08-14T12:47:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。