論文の概要: Novel Dual-Generator Framework for Open-Domain Question Answering
- arxiv url: http://arxiv.org/abs/2307.11278v2
- Date: Sun, 11 Feb 2024 16:06:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 00:31:26.773355
- Title: Novel Dual-Generator Framework for Open-Domain Question Answering
- Title(参考訳): オープンドメイン質問応答のための新しいデュアルジェネレータフレームワーク
- Authors: Abdelrahman Abdallah, Adam Jatowt
- Abstract要約: 本稿では,高度な大規模言語モデル(LLM)と文書検索戦略の相乗化を目的とした,GRG(Generator-Retriever-Generator)と呼ばれる革新的な手法を提案する。
GRGモデルは、ジェネレーション・then-readや検索・then-readフレームワークを含む既存の最先端の方法論を明らかに超えている。
- 参考スコア(独自算出の注目度): 22.38752607461632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Addressing the intricacies of open-domain question answering (QA)
necessitates the extraction of pertinent information from expansive corpora to
formulate precise answers. This paper introduces an innovative methodology,
termed Generator-Retriever-Generator (GRG), which synergizes document retrieval
strategies with advanced large language models (LLMs). The process commences
with the LLM generating context-specific documents in response to a posed
question. Concurrently, a sophisticated dual-encoder network undertakes the
retrieval of documents pertinent to the question from an extensive external
corpus. Both the generated and retrieved documents are subsequently processed
by a second LLM, tasked with producing the definitive answer. By amalgamating
the processes of document retrieval and LLM-based generation, our method
adeptly navigates the complexities associated with open-domain QA, notably in
delivering informative and contextually apt answers. Our GRG model demonstrably
surpasses existing state-of-the-art methodologies, including generate-then-read
and retrieve-then-read frameworks (GENREAD and RFiD), enhancing their
performance by minimum margins of +5.2, +4.2, and +1.6 on the TriviaQA, NQ, and
WebQ datasets, respectively. For further exploration and replication of our
findings, we have made available the code, datasets, and checkpoints at
\footnote{\url{https://github.com/abdoelsayed2016/GRG}}.
- Abstract(参考訳): オープンドメイン質問応答(QA)の複雑さに対処するには、拡張コーパスから関連する情報の抽出が必要である。
本稿では,文書検索戦略を高度大言語モデル (LLM) と相乗化する,GRG (Generator-Retriever-Generator) と呼ばれる革新的な手法を提案する。
プロセスは、提案された質問に対する文脈固有の文書を生成するLLMで開始される。
同時に、高度なデュアルエンコーダネットワークは、広範囲な外部コーパスから質問に関連する文書の検索を行う。
生成された文書と検索された文書はその後、第2のLCMによって処理され、決定的な回答を生成する。
文書検索とllmベースの生成を融合することにより,オープンドメインqaに関連する複雑度,特に情報的かつ文脈的回答の提供を適切にナビゲートする。
我々のGRGモデルは既存の最先端の手法を明らかに超えており、例えばgenerator-then-read と retrieve-then-read framework (GENREAD と RFiD) は、TriviaQA と NQ と WebQ のデータセットで、それぞれ+5.2 と +4.2 と +1.6 の最小マージンで性能を向上している。
さらなる調査と再現のために、コード、データセット、チェックポイントを \footnote{\url{https://github.com/abdoelsayed2016/GRG}}で公開しました。
関連論文リスト
- Harnessing Multi-Role Capabilities of Large Language Models for
Open-Domain Question Answering [40.2758450304531]
オープンドメイン質問応答 (ODQA) は情報システムにおいて重要な研究スポットライトとなっている。
本稿では,ODQA処理をクエリ拡張,文書選択,回答生成という3つの基本ステップに定式化するフレームワークを提案する。
我々は,ロールプレイングプロンプトを洗練するための新しいプロンプト最適化アルゴリズムを導入し,高品質なエビデンスと回答を生成する。
論文 参考訳(メタデータ) (2024-03-08T11:09:13Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - UniGen: A Unified Generative Framework for Retrieval and Question
Answering with Large Language Models [22.457013726785295]
textbfUnified textbfGenerative framework for search and question answering。
UniGenは両方のタスクを単一の生成モデルに統合し、大きな言語モデルの能力を活用する。
論文 参考訳(メタデータ) (2023-12-18T09:13:41Z) - LLatrieval: LLM-Verified Retrieval for Verifiable Generation [71.98112450207368]
検証可能な生成は、大きな言語モデル(LLM)が対応する文書でテキストを生成することを目的としている。
本稿では,LLatrieval (Large Language Model Verified Retrieval) を提案する。
論文 参考訳(メタデータ) (2023-11-14T01:38:02Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - MILL: Mutual Verification with Large Language Models for Zero-Shot Query
Expansion [41.21789597997263]
本稿では,クエリ拡張のための新たなLarge Language Model (LLM) に基づく相互検証フレームワークを提案する。
具体的には、まず、LLMに符号化された文脈知識を効果的に活用できるクエリクエリー文書生成パイプラインを設計する。
次に、生成した文書と検索した文書の相互検証手法を用いて、検索した文書を、生成した文書の外部コンテキスト知識でフィルタリングし、生成した文書を、検索した文書のコーパス固有の知識でフィルタリングする。
論文 参考訳(メタデータ) (2023-10-29T16:04:10Z) - Large Language Models are Built-in Autoregressive Search Engines [19.928494069013485]
大規模言語モデル(LLM)は、人間の指示に従って文書検索用のURLを直接生成することができる。
LLMは、対応するドキュメントの90%近くが、オープンドメインの質問に対する正しい回答を含むWebURLを生成することができる。
論文 参考訳(メタデータ) (2023-05-16T17:04:48Z) - Query2doc: Query Expansion with Large Language Models [69.9707552694766]
提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。
query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。
また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
論文 参考訳(メタデータ) (2023-03-14T07:27:30Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z) - Tradeoffs in Sentence Selection Techniques for Open-Domain Question
Answering [54.541952928070344]
文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。
非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
論文 参考訳(メタデータ) (2020-09-18T23:39:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。