論文の概要: REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering
- arxiv url: http://arxiv.org/abs/2402.17497v1
- Date: Tue, 27 Feb 2024 13:22:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 16:14:09.785695
- Title: REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering
- Title(参考訳): REAR: オープンドメイン質問応答のための関連性対応検索フレームワーク
- Authors: Yuhao Wang, Ruiyang Ren, Junyi Li, Wayne Xin Zhao, Jing Liu, Ji-Rong
Wen
- Abstract要約: 既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
- 参考スコア(独自算出の注目度): 122.62012375722124
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Considering the limited internal parametric knowledge, retrieval-augmented
generation (RAG) has been widely used to extend the knowledge scope of large
language models (LLMs). Despite the extensive efforts on RAG research, in
existing methods, LLMs cannot precisely assess the relevance of retrieved
documents, thus likely leading to misleading or even incorrect utilization of
external knowledge (i.e., retrieved documents). To address this issue, in this
paper, we propose REAR, a RElevance-Aware Retrieval-augmented approach for
open-domain question answering (QA). As the key motivation, we aim to enhance
the self-awareness of source relevance for LLMs, so as to adaptively utilize
external knowledge in RAG systems. Specially, we develop a new architecture for
LLM based RAG system, by incorporating a specially designed rank head that
precisely assesses the relevance of retrieved documents. Furthermore, we
propose an improved training method based on bi-granularity relevance fusion
and noise-resistant training. By combining the improvements in both
architecture and training, our proposed REAR can better utilize external
knowledge by effectively perceiving the relevance of retrieved documents.
Experiments on four open-domain QA tasks show that REAR significantly
outperforms previous a number of competitive RAG approaches. Our code and data
can be accessed at https://github.com/RUCAIBox/REAR.
- Abstract(参考訳): 内部パラメトリック知識の制限を考慮すると、検索拡張生成(RAG)は大規模言語モデル(LLM)の知識範囲の拡大に広く用いられている。
RAG研究の広範な取り組みにもかかわらず、既存の手法では、LLMは検索された文書の関連性を正確に評価できないため、外部知識(すなわち、回収された文書)の誤用や不正な利用につながる可能性がある。
本稿では,オープンドメイン質問応答(qa)のための関連性を考慮した検索手法であるreaを提案する。
鍵となる動機は、RAGシステムにおける外部知識を適応的に活用するために、LLMにおけるソース関連性の自己認識を高めることである。
具体的には、検索した文書の関連性を正確に評価する特別設計のランクヘッドを組み込むことにより、LLMベースのRAGシステムのための新しいアーキテクチャを開発する。
さらに,両粒度相関融合と耐雑音訓練に基づく改良訓練法を提案する。
アーキテクチャとトレーニングの両方の改善を組み合わせることで,検索文書の関連性を効果的に把握することにより,外部知識をより活用することができる。
オープンドメインの4つのQAタスクの実験では、REARは以前の競合RAGアプローチよりも大幅に優れていた。
私たちのコードとデータはhttps://github.com/RUCAIBox/REARでアクセスできます。
関連論文リスト
- CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented
Generation of Large Language Models [55.47070014913373]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - Corrective Retrieval Augmented Generation [39.371798735872865]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳(メタデータ) (2024-01-29T04:36:39Z) - The Power of Noise: Redefining Retrieval for RAG Systems [20.22211173429561]
Retrieval-Augmented Generation (RAG) システムは従来のLarge Language Models (LLM) よりも大幅に進歩している。
本稿では,有効なRAGのプロンプト定式化のために,検索者が保持すべき特徴について分析する。
無関係な文書を含むと、予想外に30%以上の精度で性能を向上できることがわかった。
論文 参考訳(メタデータ) (2024-01-26T14:14:59Z) - Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。
COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2023-10-22T19:37:06Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - Building Interpretable and Reliable Open Information Retriever for New
Domains Overnight [67.03842581848299]
情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。
本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。
より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-08-09T07:47:17Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Improving the Domain Adaptation of Retrieval Augmented Generation (RAG)
Models for Open Domain Question Answering [9.404960572390852]
Retrieval Augment Generation (RAG) はオープンドメイン質問回答(ODQA)の最近の進歩である
RAGは、ウィキペディアベースの外部知識ベースでのみ訓練され、調査されている。
ドメイン固有の知識ベースに適応可能なRAGの拡張である textitRAG-end2end を提案する。
論文 参考訳(メタデータ) (2022-10-06T01:21:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。