論文の概要: Ragnarök: A Reusable RAG Framework and Baselines for TREC 2024 Retrieval-Augmented Generation Track

• arxiv url: http://arxiv.org/abs/2406.16828v1
• Date: Mon, 24 Jun 2024 17:37:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 13:46:06.811229
• Title: Ragnarök: A Reusable RAG Framework and Baselines for TREC 2024 Retrieval-Augmented Generation Track
• Title（参考訳）: Ragnarök: TREC 2024の再利用可能なRAGフレームワークとベースライン
• Authors: Ronak Pradeep, Nandan Thakur, Sahel Sharifymoghaddam, Eric Zhang, Ryan Nguyen, Daniel Campos, Nick Craswell, Jimmy Lin,
• Abstract要約: RAGベースの検索システムを構築、テスト、視覚化、体系的に評価するためのアリーナを持つことが不可欠である。 TREC 2024 RAG Trackを提案する。
• 参考スコア（独自算出の注目度）: 51.25144287084172
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Did you try out the new Bing Search? Or maybe you fiddled around with Google AI~Overviews? These might sound familiar because the modern-day search stack has recently evolved to include retrieval-augmented generation (RAG) systems. They allow searching and incorporating real-time data into large language models (LLMs) to provide a well-informed, attributed, concise summary in contrast to the traditional search paradigm that relies on displaying a ranked list of documents. Therefore, given these recent advancements, it is crucial to have an arena to build, test, visualize, and systematically evaluate RAG-based search systems. With this in mind, we propose the TREC 2024 RAG Track to foster innovation in evaluating RAG systems. In our work, we lay out the steps we've made towards making this track a reality -- we describe the details of our reusable framework, Ragnar\"ok, explain the curation of the new MS MARCO V2.1 collection choice, release the development topics for the track, and standardize the I/O definitions which assist the end user. Next, using Ragnar\"ok, we identify and provide key industrial baselines such as OpenAI's GPT-4o or Cohere's Command R+. Further, we introduce a web-based user interface for an interactive arena allowing benchmarking pairwise RAG systems by crowdsourcing. We open-source our Ragnar\"ok framework and baselines to achieve a unified standard for future RAG systems.
• Abstract（参考訳）: 新しいBing Searchを試した? それとも、Google AIに夢中になったのか? 現代の検索スタックは、最近、検索強化世代(RAG)システムを含むように進化した。 リアルタイムデータを大規模言語モデル(LLM)に検索し、組み込むことで、文書のランク付けリストの表示に依存する従来の検索パラダイムとは対照的に、適切に表現され、属性付き、簡潔な要約を提供することができる。 したがって、これらの最近の進歩を踏まえ、RAGベースの検索システムを構築、テスト、視覚化、体系的に評価する領域を持つことが不可欠である。 このことを念頭に, TREC 2024 RAG Trackを提案する。 私たちの作業では、このトラックを現実にするためのステップをレイアウトしました -- 再利用可能なフレームワークであるRagnar\"okの詳細を説明し、新しいMS MARCO V2.1コレクションの選択のキュレーションを説明し、トラックの開発トピックをリリースし、エンドユーザーを支援するI/O定義を標準化します。 次に、Ragnar\"okを用いて、OpenAIのGPT-4oやCohereのCommand R+といった重要な産業ベースラインを特定し、提供する。 さらに,クラウドソーシングによるペアワイズRAGシステムのベンチマークを可能にする対話型アリーナのためのWebベースのユーザインタフェースを提案する。 我々は,今後のRAGシステムの統一標準を実現するため,Ragnar\"okフレームワークとベースラインをオープンソース化した。

関連論文リスト

• Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [65.23793829741014]
  Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。 コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。 Embodied-RAGがRAGをロボット領域に効果的にブリッジし、200以上の説明とナビゲーションクエリをうまく処理できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T21:44:11Z)
• CRAG -- Comprehensive RAG Benchmark [58.15980697921195]
  Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) の知識不足を緩和するための有望なソリューションとして最近登場した。 既存のRAGデータセットは、現実世界の質問回答(QA)タスクの多様性と動的な性質を適切に表現していない。 このギャップを埋めるために、包括的RAGベンチマーク(CRAG)を導入する。 CRAGは、Webと知識グラフ(KG)検索をシミュレートする4,409組の質問応答ペアとモックAPIの実際の質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-06-07T08:43:07Z)
• The 2nd FutureDial Challenge: Dialog Systems with Retrieval Augmented Generation (FutureDial-RAG) [23.849336345191556]
  この課題は、3000近い高品質なダイアログを備えた実際の顧客サービスデータセットであるMobileCS2データセットの上に構築されている。 本稿では,知識検索のためのトラック1と応答生成のためのトラック2という2つのタスクを定義する。 我々は,2つのトラックのベースラインシステムを構築し,そのシステムが正確な検索を行い,情報的かつ一貫性のある応答を生成できるかどうかを計測する。
  論文  参考訳（メタデータ） (2024-05-21T07:35:21Z)
• Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models [21.115495457454365]
  uRAGは、複数の下流検索拡張生成システム(RAG)を提供する統合検索エンジンを備えたフレームワークである。 我々は、訓練に従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築した。
  論文  参考訳（メタデータ） (2024-04-30T19:51:37Z)
• FeB4RAG: Evaluating Federated Search in the Context of Retrieval Augmented Generation [31.371489527686578]
  フェデレートされた検索システムは、複数の検索エンジンの検索結果を集約し、結果の品質を高め、ユーザの意図に合わせた適切なソースを選択する。 FEB4RAGはRAGフレームワーク内でのフェデレーション検索に特化した新しいデータセットである。
  論文  参考訳（メタデータ） (2024-02-19T07:06:52Z)
• GAR-meets-RAG Paradigm for Zero-Shot Information Retrieval [16.369071865207808]
  本稿では,既存のパラダイムの課題を克服する新しいGAR-meets-RAG再帰の定式化を提案する。 鍵となる設計原則は、リライト・検索段階がシステムのリコールを改善し、最終段階が精度を向上させることである。 我々の手法はBEIRベンチマークで新たな最先端性を確立し、8つのデータセットのうち6つでRecall@100とnDCG@10の指標で過去の最高の結果を上回った。
  論文  参考訳（メタデータ） (2023-10-31T03:52:08Z)
• NeuralSearchX: Serving a Multi-billion-parameter Reranker for Multilingual Metasearch at a Low Cost [4.186775801993103]
  検索結果をマージし、文章をハイライトする多目的大規模階調モデルに基づくメタサーチエンジンであるNeuralSearchXについて述べる。 我々の設計選択は、幅広い公開ベンチマークで最先端の結果に近づきながら、競争力のあるQPSを備えたよりコスト効率の高いシステムに繋がったことを示す。
  論文  参考訳（メタデータ） (2022-10-26T16:36:53Z)
• Gait Recognition in the Wild: A Large-scale Benchmark and NAS-based Baseline [95.88825497452716]
  歩行ベンチマークにより、研究コミュニティは高性能歩行認識システムの訓練と評価を行うことができる。 GREWは、野生における歩行認識のための最初の大規模データセットである。 SPOSGaitはNASベースの最初の歩行認識モデルである。
  論文  参考訳（メタデータ） (2022-05-05T14:57:39Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Open-Retrieval Conversational Question Answering [62.11228261293487]
  オープン検索型対話型質問応答 (ORConvQA) の設定を導入する。 ORConvQAのエンド・ツー・エンドシステムを構築し,レトリバー,リランカ,およびすべてトランスフォーマーをベースとしたリーダを特徴とする。
  論文  参考訳（メタデータ） (2020-05-22T19:39:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。