論文の概要: W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering
- arxiv url: http://arxiv.org/abs/2408.08444v1
- Date: Thu, 15 Aug 2024 22:34:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 17:09:56.024391
- Title: W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering
- Title(参考訳): W-RAG:オープンドメイン質問応答のためのRAGにおける暗黙の高密度検索
- Authors: Jinming Nian, Zhiyuan Peng, Qifan Wang, Yi Fang,
- Abstract要約: 大規模言語モデル(LLM)は、内部(パラメトリック)知識にのみ依存して、事実的な回答を生成するのに苦労することが多い。
この制限に対処するため、Retrieval-Augmented Generation (RAG)システムでは、外部ソースから関連情報を検索することでLLMを強化している。
我々はLLMのランキング機能を活用してW-RAGを提案する。
- 参考スコア(独自算出の注目度): 28.79851078451609
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In knowledge-intensive tasks such as open-domain question answering (OpenQA), Large Language Models (LLMs) often struggle to generate factual answers relying solely on their internal (parametric) knowledge. To address this limitation, Retrieval-Augmented Generation (RAG) systems enhance LLMs by retrieving relevant information from external sources, thereby positioning the retriever as a pivotal component. Although dense retrieval demonstrates state-of-the-art performance, its training poses challenges due to the scarcity of ground-truth evidence, largely attributed to the high costs of human annotation. In this paper, we propose W-RAG by utilizing the ranking capabilities of LLMs to create weakly labeled data for training dense retrievers. Specifically, we rerank the top-$K$ passages retrieved via BM25 by assessing the probability that LLMs will generate the correct answer based on the question and each passage. The highest-ranking passages are then used as positive training examples for dense retrieval. Our comprehensive experiments across four publicly available OpenQA datasets demonstrate that our approach enhances both retrieval and OpenQA performance compared to baseline models.
- Abstract(参考訳): オープンドメイン質問応答(OpenQA)のような知識集約的なタスクでは、Large Language Models(LLM)は、内部(パラメトリック)の知識にのみ依存して、現実的な回答を生成するのに苦労することが多い。
この制限に対処するため、レトリーバー拡張生成(RAG)システムは、外部ソースから関連情報を検索することでLCMを強化し、レトリーバーを重要なコンポーネントとして位置づける。
厳密な検索は最先端のパフォーマンスを示すが、その訓練は、人間のアノテーションの高コストが原因で、地道な証拠が不足しているため、課題を生んでいる。
本稿では,LLMのランキング機能を活用してW-RAGを提案する。
具体的には、BM25を介して検索した上位$Kのパスを、質問と各パスに基づいてLLMが正しい回答を生成する確率を評価することで、再評価する。
上位の通路は、密集検索の正の訓練例として使用される。
公開されている4つのOpenQAデータセットの総合的な実験により、我々のアプローチはベースラインモデルと比較して検索とOpenQAのパフォーマンスを向上することを示した。
関連論文リスト
- RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。
RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。
最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
論文 参考訳(メタデータ) (2024-07-19T03:02:51Z) - Augmenting Query and Passage for Retrieval-Augmented Generation using LLMs for Open-Domain Question Answering [5.09189220106765]
オープンドメインQAのためのLLMによる質問と通過の増大という,シンプルで効率的な手法を提案する。
提案手法はまず,元の質問を複数段階のサブクエストに分解する。
元の質問を詳細なサブクエストとプランニングで強化することで、検索すべきものについて、クエリをより明確にすることができます。
また,抽出された通路に注意を散らす情報や意見の分割を含む場合の補償として,LLMによる自己生成通路を付加し,回答抽出を指導する。
論文 参考訳(メタデータ) (2024-06-20T12:59:27Z) - R^2AG: Incorporating Retrieval Information into Retrieval Augmented Generation [11.890598082534577]
Retrieval augmented generation (RAG) は、検索者によって提供される外部文書で大規模言語モデル(LLM)を拡張するために、多くのシナリオで適用されてきた。
本稿では,R$2$AGを提案する。R$2$AGは,検索情報を検索用拡張生成に組み込む新しい拡張RAGフレームワークである。
論文 参考訳(メタデータ) (2024-06-19T06:19:48Z) - SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。
SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。
様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
論文 参考訳(メタデータ) (2024-04-17T01:15:54Z) - RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。
この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。
Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文 参考訳(メタデータ) (2024-03-31T08:58:54Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - Effective Large Language Model Adaptation for Improved Grounding and Citation Generation [48.07830615309543]
本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。
我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。
我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
論文 参考訳(メタデータ) (2023-11-16T03:22:25Z) - Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language
Models [57.80297731039275]
CoN(Chain-of-Noting)は、ノイズや無関係な文書、未知のシナリオの処理において、ALMの堅牢性を改善することを目的とした、新しいアプローチである。
CoNは、完全にノイズの多い検索された文書が与えられるEMスコアの+7.9と、トレーニング済みの知識範囲外にあるリアルタイム質問に対する拒絶率+10.5の平均的な改善を実現している。
論文 参考訳(メタデータ) (2023-11-15T18:54:53Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。