論文の概要: REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering

• arxiv url: http://arxiv.org/abs/2402.17497v1
• Date: Tue, 27 Feb 2024 13:22:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 16:14:09.785695
• Title: REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering
• Title（参考訳）: REAR: オープンドメイン質問応答のための関連性対応検索フレームワーク
• Authors: Yuhao Wang, Ruiyang Ren, Junyi Li, Wayne Xin Zhao, Jing Liu, Ji-Rong Wen
• Abstract要約: 既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。 Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
• 参考スコア（独自算出の注目度）: 122.62012375722124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Considering the limited internal parametric knowledge, retrieval-augmented generation (RAG) has been widely used to extend the knowledge scope of large language models (LLMs). Despite the extensive efforts on RAG research, in existing methods, LLMs cannot precisely assess the relevance of retrieved documents, thus likely leading to misleading or even incorrect utilization of external knowledge (i.e., retrieved documents). To address this issue, in this paper, we propose REAR, a RElevance-Aware Retrieval-augmented approach for open-domain question answering (QA). As the key motivation, we aim to enhance the self-awareness of source relevance for LLMs, so as to adaptively utilize external knowledge in RAG systems. Specially, we develop a new architecture for LLM based RAG system, by incorporating a specially designed rank head that precisely assesses the relevance of retrieved documents. Furthermore, we propose an improved training method based on bi-granularity relevance fusion and noise-resistant training. By combining the improvements in both architecture and training, our proposed REAR can better utilize external knowledge by effectively perceiving the relevance of retrieved documents. Experiments on four open-domain QA tasks show that REAR significantly outperforms previous a number of competitive RAG approaches. Our code and data can be accessed at https://github.com/RUCAIBox/REAR.
• Abstract（参考訳）: 内部パラメトリック知識の制限を考慮すると、検索拡張生成(RAG)は大規模言語モデル(LLM)の知識範囲の拡大に広く用いられている。 RAG研究の広範な取り組みにもかかわらず、既存の手法では、LLMは検索された文書の関連性を正確に評価できないため、外部知識(すなわち、回収された文書)の誤用や不正な利用につながる可能性がある。 本稿では,オープンドメイン質問応答(qa)のための関連性を考慮した検索手法であるreaを提案する。 鍵となる動機は、RAGシステムにおける外部知識を適応的に活用するために、LLMにおけるソース関連性の自己認識を高めることである。 具体的には、検索した文書の関連性を正確に評価する特別設計のランクヘッドを組み込むことにより、LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 さらに,両粒度相関融合と耐雑音訓練に基づく改良訓練法を提案する。 アーキテクチャとトレーニングの両方の改善を組み合わせることで,検索文書の関連性を効果的に把握することにより,外部知識をより活用することができる。 オープンドメインの4つのQAタスクの実験では、REARは以前の競合RAGアプローチよりも大幅に優れていた。 私たちのコードとデータはhttps://github.com/RUCAIBox/REARでアクセスできます。

関連論文リスト

• Oreo: A Plug-in Context Reconstructor to Enhance Retrieval-Augmented Generation [28.568010424711563]
  大規模言語モデル(LLM)は、パラメトリックな知識が限られ、ドメイン固有の専門知識が欠如しているため、幻覚に弱いままである。 Retrieval-Augmented Generation (RAG)は、LLMの知識基盤を強化するために外部文書検索を組み込むことによって、この問題に対処する。 発電機に供給する前に外部の知識ソースを洗練するためのコンパクトで効率的でプラガブルなモジュールを導入する。
  論文  参考訳（メタデータ） (2025-02-18T16:38:39Z)
• Systematic Knowledge Injection into Large Language Models via Diverse Augmentation for Domain-Specific RAG [24.660769275714685]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) にドメイン知識を組み込む重要な手法として登場した。 本稿では,学習データを2つの方法で強化することで,微調整プロセスを大幅に強化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T12:39:51Z)
• Parametric Retrieval Augmented Generation [32.29608109539912]
  Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。 これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-27T10:04:49Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering [28.79851078451609]
  大規模言語モデル(LLM)は、内部(パラメトリック)知識にのみ依存して、事実的な回答を生成するのに苦労することが多い。 この制限に対処するため、Retrieval-Augmented Generation (RAG)システムでは、外部ソースから関連情報を検索することでLLMを強化している。 我々はLLMのランキング機能を活用してW-RAGを提案する。
  論文  参考訳（メタデータ） (2024-08-15T22:34:44Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• The Power of Noise: Redefining Retrieval for RAG Systems [19.387105120040157]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデルの事前学習知識を超えて拡張する方法として登場した。 我々は、RAGソリューションが取得すべきパスIRシステムの種類に焦点を当てる。
  論文  参考訳（メタデータ） (2024-01-26T14:14:59Z)
• Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
  COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。 COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2023-10-22T19:37:06Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。