Fugu-MT 論文翻訳(概要): Evaluation of Retrieval-Augmented Generation: A Survey

論文の概要: Evaluation of Retrieval-Augmented Generation: A Survey

arxiv url: http://arxiv.org/abs/2405.07437v1
Date: Mon, 13 May 2024 02:33:25 GMT
ステータス: 処理完了
システム内更新日: 2024-05-14 15:04:30.310308
Title: Evaluation of Retrieval-Augmented Generation: A Survey
Title（参考訳）: 検索機能強化ジェネレーションの評価:サーベイ
Authors: Hao Yu, Aoran Gan, Kai Zhang, Shiwei Tong, Qi Liu, Zhaofeng Liu,
Abstract要約: Retrieval-Augmented Generation (RAG) は自然言語処理における重要なイノベーションとして現れている。 RAGシステムの評価は、そのハイブリッド構造と動的知識源への依存により、異なる課題をもたらす。本稿では,RAGR (Retrieval, Generation, additional Requirement) と呼ばれるRAGシステムのベンチマーク分析フレームワークを提案し,RAGベンチマークを体系的に解析する。
参考スコア（独自算出の注目度）: 13.633909177683462
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Retrieval-Augmented Generation (RAG) has emerged as a pivotal innovation in natural language processing, enhancing generative models by incorporating external information retrieval. Evaluating RAG systems, however, poses distinct challenges due to their hybrid structure and reliance on dynamic knowledge sources. We consequently enhanced an extensive survey and proposed an analysis framework for benchmarks of RAG systems, RAGR (Retrieval, Generation, Additional Requirement), designed to systematically analyze RAG benchmarks by focusing on measurable outputs and established truths. Specifically, we scrutinize and contrast multiple quantifiable metrics of the Retrieval and Generation component, such as relevance, accuracy, and faithfulness, of the internal links within the current RAG evaluation methods, covering the possible output and ground truth pairs. We also analyze the integration of additional requirements of different works, discuss the limitations of current benchmarks, and propose potential directions for further research to address these shortcomings and advance the field of RAG evaluation. In conclusion, this paper collates the challenges associated with RAG evaluation. It presents a thorough analysis and examination of existing methodologies for RAG benchmark design based on the proposed RGAR framework.
Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は自然言語処理において重要な革新であり、外部情報検索を取り入れて生成モデルを向上させる。しかしながら、RAGシステムの評価は、そのハイブリッド構造と動的知識源への依存により、異なる課題を生んでいる。そこで我々は,RAGR (Retrieval, Generation, additional Requirement) と呼ばれるRAGRシステムのベンチマーク分析フレームワークを提案し,測定可能な出力に着目してRAGRベンチマークを体系的に解析し,真理を確立した。具体的には、現在のRAG評価手法における内部リンクの関連性、正確性、忠実性など、検索および生成コンポーネントの複数の定量化指標を精査し、対比し、出力と基底真理のペアを網羅する。また、異なる作業の追加要件の統合を分析し、現在のベンチマークの限界について議論し、これらの欠点に対処し、RAG評価の分野を前進させるための潜在的方向性を提案する。本稿では,RAG評価に関わる課題を整理する。提案したRGARフレームワークに基づいて,RAGベンチマーク設計のための既存手法の徹底的な分析と検証を行う。

関連論文リスト

KaPQA: Knowledge-Augmented Product Question-Answering [59.096607961704656]
我々はAdobe AcrobatとPhotoshop製品に焦点を当てた2つのQAデータセットを紹介した。また、製品QAタスクにおけるモデルの性能を高めるために、新しい知識駆動型RAG-QAフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-22T22:14:56Z)
BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
論文参考訳（メタデータ） (2024-07-01T09:09:27Z)
GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文参考訳（メタデータ） (2024-06-01T08:01:05Z)
A Survey on Retrieval-Augmented Text Generation for Large Language Models [1.4579344926652844]
Retrieval-Augmented Generation (RAG)は、検索手法とディープラーニングの進歩を融合する。本稿では,RAGパラダイムを検索前,検索後,検索後,生成の4つのカテゴリに分類する。 RAGの進化を概説し、重要な研究の分析を通して分野の進歩について論じている。
論文参考訳（メタデータ） (2024-04-17T01:27:42Z)
Retrieval-Augmented Generation for AI-Generated Content: A Survey [38.50754568320154]
このような課題に対処するためのパラダイムとして,レトリーバル拡張生成(RAG)が登場している。 RAGは情報検索プロセスを導入し、利用可能なデータストアから関連オブジェクトを検索することで生成プロセスを強化する。本稿では,RAG手法をAIGCシナリオに統合する既存の取り組みを概観的にレビューする。
論文参考訳（メタデータ） (2024-02-29T18:59:01Z)
CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文参考訳（メタデータ） (2024-01-30T14:25:32Z)
Retrieval-Augmented Generation for Large Language Models: A Survey [17.82361213043507]
大きな言語モデル(LLM)には印象的な能力があるが、幻覚のような課題に直面している。 Retrieval-Augmented Generation (RAG) は,外部データベースからの知識を取り入れた,有望なソリューションとして登場した。
論文参考訳（メタデータ） (2023-12-18T07:47:33Z)
ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems [46.522527144802076]
本稿では,RAGシステム評価のための自動RAG評価システムであるARESを紹介する。 ARESは軽量LM判定器を微調整し、個々のRAG成分の品質を評価する。コードとデータセットをGithubで公開しています。
論文参考訳（メタデータ） (2023-11-16T00:39:39Z)
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文参考訳（メタデータ） (2023-10-17T18:18:32Z)
Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
論文参考訳（メタデータ） (2023-09-04T08:28:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。