Fugu-MT 論文翻訳(概要): RE-RAG: Improving Open-Domain QA Performance and Interpretability with Relevance Estimator in Retrieval-Augmented Generation

論文の概要: RE-RAG: Improving Open-Domain QA Performance and Interpretability with Relevance Estimator in Retrieval-Augmented Generation

arxiv url: http://arxiv.org/abs/2406.05794v1
Date: Sun, 9 Jun 2024 14:11:19 GMT
ステータス: 処理完了
システム内更新日: 2024-06-11 18:07:23.176224
Title: RE-RAG: Improving Open-Domain QA Performance and Interpretability with Relevance Estimator in Retrieval-Augmented Generation
Title（参考訳）: RE-RAG:Retrieval-Augmented Generationにおけるrelevance EstimatorによるオープンドメインQA性能と解釈性の向上
Authors: Kiseung Kim, Jay-Yoon Lee,
Abstract要約: 本稿では,RAGシステムに明示的文脈関連度推定器(RE)を注入するRE-RAGフレームワークを提案する。 Retrieval-augmented Generation (RAG) フレームワークは、外部知識を参照して、オープンドメイン質問応答タスクにおける最先端のパフォーマンスを示している。
参考スコア（独自算出の注目度）: 5.10832476049103
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Retrieval-augmented generation (RAG) frame work is showing state-of-the-art performance on open-domain question answering tasks by referencing external knowledge. However, the RAG system faces challenges with performance degradation when it is fed contexts of low relevance or when the relative relevance among the input contexts is inaccurately assessed. In this work, we propose a RE-RAG framework that injects an explicit context relevance estimator (RE) into the RAG system. RE-RAG re-evaluates the retrieved contexts with the proposed context RE and passes the more relevant contexts along with their measure importance to the generator. To train context RE, we propose an unsupervised learning method, which does not utilize any labeled document ranking data to train the context RE. To examine the efficacy of RE-RAG, we examine its performance on Natural Questions and TriviaQA datasets. RE-RAG achieves on-par performance compared to the FiD variants while utilizing fewer contexts (0.25x). We show that the proposed context RE, which was trained with the T5 model, is also applicable to RAG with LLMs(ChatGPT) by improving the performance on NQ (+6.4EM) and TQA (+2.8EM), respecitvely. Lastly, we display that RE can add interpretability to RAG framework as RE score highly correlates with the RE-RAG accuracy. Consequently, RE can be utilized to filter out unanswerable scenarios where context does not contain answers with 38.9%-51.3% accuracy just by examining a set of retrieved contexts.
Abstract（参考訳）: Retrieval-augmented Generation (RAG) フレームワークは、外部知識を参照して、オープンドメイン質問応答タスクにおける最先端のパフォーマンスを示している。しかし、RAGシステムは、低い関連性のコンテキストが供給される場合や、入力コンテキスト間の相対的関連性が不正確な場合、性能劣化に直面する。本稿では,RAGシステムに明示的文脈関連性推定器(RE)を注入するRE-RAGフレームワークを提案する。 RE-RAGは、検索したコンテキストを提案コンテキストREで再評価し、関連するコンテキストとそれらの測定重要性をジェネレータに渡す。文脈REの学習にはラベル付き文書ランキングデータを使用しない教師なし学習法を提案する。本稿では,RE-RAGの有効性を検討するために,Natural QuestionsとTriviaQAデータセットの性能について検討する。 RE-RAGは、より少ないコンテキスト(0.25x)を使用しながら、FiDの変種と比較してオンパー性能を達成する。提案した文脈REは,NQ (+6.4EM) とTQA (+2.8EM) の性能を改善し,LLM(ChatGPT) を用いたRAGにも適用可能であることを示す。最後に、REスコアがRE-RAG精度と高い相関関係にあるため、REはRAGフレームワークに解釈可能性を加えることができることを示す。したがって、REは、検索されたコンテキストのセットを調べるだけで38.9%-51.3%の精度で応答を含まない、解決不可能なシナリオをフィルタリングするために利用できる。

関連論文リスト

Query Optimization for Parametric Knowledge Refinement in Retrieval-Augmented Large Language Models [26.353428245346166]
Extract-Refine-Retrieve-Read (ERRR)フレームワークは、Retrieval-Augmented Generation (RAG)システムにおける事前検索情報ギャップを埋めるように設計されている。 RAGで使用される従来のクエリ最適化手法とは異なり、ERRRフレームワークはLarge Language Models (LLM) から知識を抽出することから始まる。
論文参考訳（メタデータ） (2024-11-12T14:12:45Z)
SMART-RAG: Selection using Determinantal Matrices for Augmented Retrieval [40.17823569905232]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)を大幅に改善し、正確で文脈に根ざした応答を生成する。 RAGアプローチは、クエリコンテキストの関連性のみに基づくトップランクのドキュメントを優先し、冗長性と矛盾する情報をしばしば導入する。本稿では,RAGにおける文脈選択の最適化を目的とした,教師なしおよびトレーニング不要なフレームワークであるRAG(Mathrices for Augmented Retrieval)によるタスク応答のための選択を提案する。
論文参考訳（メタデータ） (2024-09-21T03:03:09Z)
VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。 VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
論文参考訳（メタデータ） (2024-09-18T16:10:47Z)
SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
論文参考訳（メタデータ） (2024-09-16T01:08:18Z)
RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
論文参考訳（メタデータ） (2024-05-23T11:00:19Z)
CONFLARE: CONFormal LArge language model REtrieval [0.0]
Retrieval-augmented Generation (RAG)フレームワークは、大規模言語モデル(LLM)が知識ベースから関連する情報を検索し、応答を生成するコンテキストに組み込むことを可能にする。 RAGは、検索が必要な情報を応答生成のコンテキストとして識別できない場合、有効な応答を保証しない。本稿では,RAGフレームワークにおける検索不確実性を定量化するために,共形予測を適用するための4段階のフレームワークを提案する。
論文参考訳（メタデータ） (2024-04-04T02:58:21Z)
RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems [51.171355532527365]
Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
論文参考訳（メタデータ） (2024-03-14T02:26:31Z)
REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
論文参考訳（メタデータ） (2024-02-27T13:22:51Z)
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文参考訳（メタデータ） (2023-10-17T18:18:32Z)
Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
論文参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。