論文の概要: BERGEN: A Benchmarking Library for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2407.01102v1
• Date: Mon, 1 Jul 2024 09:09:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 22:19:31.916911
• Title: BERGEN: A Benchmarking Library for Retrieval-Augmented Generation
• Title（参考訳）: BERGEN:Retrieval-Augmented Generation用のベンチマークライブラリ
• Authors: David Rau, Hervé Déjean, Nadezhda Chirkova, Thibault Formal, Shuai Wang, Vassilina Nikoulina, Stéphane Clinchant,
• Abstract要約: Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。 一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。 本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
• 参考スコア（独自算出の注目度）: 26.158785168036662
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Retrieval-Augmented Generation allows to enhance Large Language Models with external knowledge. In response to the recent popularity of generative LLMs, many RAG approaches have been proposed, which involve an intricate number of different configurations such as evaluation datasets, collections, metrics, retrievers, and LLMs. Inconsistent benchmarking poses a major challenge in comparing approaches and understanding the impact of each component in the pipeline. In this work, we study best practices that lay the groundwork for a systematic evaluation of RAG and present BERGEN, an end-to-end library for reproducible research standardizing RAG experiments. In an extensive study focusing on QA, we benchmark different state-of-the-art retrievers, rerankers, and LLMs. Additionally, we analyze existing RAG metrics and datasets. Our open-source library BERGEN is available under \url{https://github.com/naver/bergen}.
• Abstract（参考訳）: Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。 近年のジェネレーティブLLMの普及に対応して、評価データセット、コレクション、メトリクス、レトリバー、LLMなどの複雑な構成を含む多くのRAGアプローチが提案されている。 一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。 本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。 QAに焦点を当てた広範な研究で、我々は異なる最先端のレトリバー、リランカー、LLMをベンチマークする。 さらに、既存のRAGメトリクスとデータセットを分析します。 私たちのオープンソースライブラリBERGENは、 \url{https://github.com/naver/bergen}の下で利用可能です。

関連論文リスト

• RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation [54.707460684650584]
  大きな言語モデル(LLM)は対話、推論、知識保持における人間レベルの能力を示す。 現在の研究は、LLMに外部知識を組み込むことによって、このボトルネックに対処している。 RAGLABはモジュール的で研究指向のオープンソースライブラリで、6つの既存のアルゴリズムを再現し、RAGアルゴリズムを調査するための包括的なエコシステムを提供する。
  論文  参考訳（メタデータ） (2024-08-21T07:20:48Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Evaluating Retrieval Quality in Retrieval-Augmented Generation [21.115495457454365]
  従来のエンドツーエンド評価手法は計算コストが高い。 本稿では,検索リストの各文書をRAGシステム内の大規模言語モデルで個別に利用するeRAGを提案する。 eRAGは、ランタイムを改善し、エンドツーエンド評価の最大50倍のGPUメモリを消費する、大きな計算上のアドバンテージを提供する。
  論文  参考訳（メタデータ） (2024-04-21T21:22:28Z)
• Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。 本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。 本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
  論文  参考訳（メタデータ） (2024-03-22T17:13:46Z)
• Retrieval Augmented Generation Systems: Automatic Dataset Creation, Evaluation and Boolean Agent Setup [5.464952345664292]
  Retrieval Augmented Generation (RAG) システムは、Large-Language Model (LLM) 出力をドメイン固有データと時間機密データで拡張することで大きな人気を得ている。 本稿では,RAG戦略を定量的に比較するために,厳密なデータセット作成と評価のワークフローを提案する。
  論文  参考訳（メタデータ） (2024-02-26T12:56:17Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• RAGAS: Automated Evaluation of Retrieval Augmented Generation [25.402461447140823]
  RAGAはRetrieval Augmented Generationパイプラインを評価するためのフレームワークである。 RAGシステムは、検索とLLMベースの生成モジュールで構成される。
  論文  参考訳（メタデータ） (2023-09-26T19:23:54Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。