論文の概要: RE-RAG: Improving Open-Domain QA Performance and Interpretability with Relevance Estimator in Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2406.05794v2
- Date: Sun, 16 Jun 2024 13:28:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 02:00:43.589121
- Title: RE-RAG: Improving Open-Domain QA Performance and Interpretability with Relevance Estimator in Retrieval-Augmented Generation
- Title（参考訳）: RE-RAG:Retrieval-Augmented Generationにおけるrelevance EstimatorによるオープンドメインQA性能と解釈性の向上
- Authors: Kiseung Kim, Jay-Yoon Lee,
- Abstract要約: 本稿では,従来のリランカが行ったようなコンテキスト間の相対的関連性を提供する関連性推定器(RE)を提案する。
我々は,小型発電機(sLM)で訓練したREが,REとともに微調整されたsLMを改良するだけでなく,従来は未参照の大規模言語モデルも改善できることを示した。
- 参考スコア（独自算出の注目度）: 5.10832476049103
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Retrieval Augmented Generation (RAG) framework utilizes a combination of parametric knowledge and external knowledge to demonstrate state-of-the-art performance on open-domain question answering tasks. However, the RAG framework suffers from performance degradation when the query is accompanied by irrelevant contexts. In this work, we propose the RE-RAG framework, which introduces a relevance estimator (RE) that not only provides relative relevance between contexts as previous rerankers did, but also provides confidence, which can be used to classify whether given context is useful for answering the given question. We propose a weakly supervised method for training the RE simply utilizing question-answer data without any labels for correct contexts. We show that RE trained with a small generator (sLM) can not only improve the sLM fine-tuned together with RE but also improve previously unreferenced large language models (LLMs). Furthermore, we investigate new decoding strategies that utilize the proposed confidence measured by RE such as choosing to let the user know that it is "unanswerable" to answer the question given the retrieved contexts or choosing to rely on LLM's parametric knowledge rather than unrelated contexts.
- Abstract（参考訳）: Retrieval Augmented Generation (RAG)フレームワークは、パラメトリック知識と外部知識を組み合わせて、オープンドメイン質問応答タスクにおける最先端のパフォーマンスを実証する。
しかしながら、RAGフレームワークは、クエリに無関係なコンテキストが伴っていれば、パフォーマンスの低下に悩まされる。
本稿では,RE-RAGフレームワークを提案する。Relevance estimator(RE)は,従来のリランカが行ったようなコンテキスト間の相対的関連性を提供するだけでなく,与えられたコンテキストが与えられた質問に応答するのに有用であるかどうかの分類に使用できる信頼性を提供する。
本稿では,質問応答データを利用したREの学習において,適切なコンテキストのラベルを使わずに,弱い教師付き手法を提案する。
我々は,小型発電機(sLM)で訓練したREが,REとともに微調整されたsLMを改良するだけでなく,従来は未参照の大規模言語モデル(LLM)も改善できることを示した。
さらに,REが測定した信頼度を生かした新たな復号手法について検討し,検索した文脈から質問に答えることが「答えられない」か,無関係な文脈よりもLLMのパラメトリック知識に頼ることを選択するかを選択する。
関連論文リスト
- Evaluation of RAG Metrics for Question Answering in the Telecom Domain [0.650923326742559]
Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)が質問応答(QA)タスクを実行できるようにするために広く使われている。
この作業は、いくつかの指標(事実性、文脈関連性、回答関連性、回答正当性、回答類似性、事実正当性)に対して修正されたこのパッケージで、プロンプトの中間出力を提供する。
次に、修正されたRAGASパッケージの出力のエキスパート評価を分析し、通信領域で使用する際の課題を観察する。
論文 参考訳（メタデータ） (2024-07-15T17:40:15Z) - Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation [8.975024781390077]
MIRAGE --Model Internals-based RAG Explanations -- このモデル内部を用いたプラグアンドプレイアプローチは、質問応答アプリケーションにおける忠実な回答属性である。
提案手法を多言語QAデータセット上で評価し,人間の回答属性と高い一致性を見いだした。
論文 参考訳（メタデータ） (2024-06-19T16:10:26Z) - RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。
公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
論文 参考訳（メタデータ） (2024-05-23T11:00:19Z) - CONFLARE: CONFormal LArge language model REtrieval [0.0]
Retrieval-augmented Generation (RAG)フレームワークは、大規模言語モデル(LLM)が知識ベースから関連する情報を検索し、応答を生成するコンテキストに組み込むことを可能にする。
RAGは、検索が必要な情報を応答生成のコンテキストとして識別できない場合、有効な応答を保証しない。
本稿では,RAGフレームワークにおける検索不確実性を定量化するために,共形予測を適用するための4段階のフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-04T02:58:21Z) - RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。
この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。
Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文 参考訳（メタデータ） (2024-03-31T08:58:54Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳（メタデータ） (2024-02-27T13:22:51Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳（メタデータ） (2023-10-17T18:18:32Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳（メタデータ） (2023-10-08T04:22:33Z) - Better Retrieval May Not Lead to Better Question Answering [59.1892787017522]
システムの性能を改善するための一般的なアプローチは、取得したコンテキストの品質をIRステージから改善することである。
マルチホップ推論を必要とするオープンドメインのQAデータセットであるStrategyQAでは、この一般的なアプローチは驚くほど非効率である。
論文 参考訳（メタデータ） (2022-05-07T16:59:38Z) - Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。
クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。
GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
論文 参考訳（メタデータ） (2020-09-17T23:08:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。