論文の概要: UniGen: A Unified Generative Framework for Retrieval and Question
Answering with Large Language Models
- arxiv url: http://arxiv.org/abs/2312.11036v1
- Date: Mon, 18 Dec 2023 09:13:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 20:42:25.487062
- Title: UniGen: A Unified Generative Framework for Retrieval and Question
Answering with Large Language Models
- Title(参考訳): UniGen: 大規模言語モデルによる検索と質問応答のための統合生成フレームワーク
- Authors: Xiaoxi Li, Yujia Zhou, Zhicheng Dou
- Abstract要約: textbfUnified textbfGenerative framework for search and question answering。
UniGenは両方のタスクを単一の生成モデルに統合し、大きな言語モデルの能力を活用する。
- 参考スコア(独自算出の注目度): 22.457013726785295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative information retrieval, encompassing two major tasks of Generative
Document Retrieval (GDR) and Grounded Answer Generation (GAR), has gained
significant attention in the area of information retrieval and natural language
processing. Existing methods for GDR and GAR rely on separate retrieval and
reader modules, which hinder simultaneous optimization. To overcome this, we
present \textbf{UniGen}, a \textbf{Uni}fied \textbf{Gen}erative framework for
retrieval and question answering that integrates both tasks into a single
generative model leveraging the capabilities of large language models. UniGen
employs a shared encoder and two distinct decoders for generative retrieval and
question answering. To facilitate the learning of both tasks, we introduce
connectors, generated by large language models, to bridge the gaps between
query inputs and generation targets, as well as between document identifiers
and answers. Furthermore, we propose an iterative enhancement strategy that
leverages generated answers and retrieved documents to iteratively improve both
tasks. Through extensive experiments on the MS MARCO and NQ datasets, we
demonstrate the effectiveness of UniGen, showcasing its superior performance in
both the retrieval and the question answering tasks.
- Abstract(参考訳): GDR(Generative Document Retrieval)とGAR(Geunded Answer Generation)の2つの主要なタスクを含む生成情報検索は、情報検索と自然言語処理の分野で大きな注目を集めている。
GDRとGARの既存の手法は別個の検索モジュールと読み取りモジュールに依存しており、同時最適化を妨げている。
これを解決するために、大きな言語モデルの能力を生かした単一生成モデルに両方のタスクを統合する、検索と質問応答のための \textbf{Uni}fied \textbf{Gen}erative フレームワークである \textbf{UniGen} を提案する。
UniGenは共有エンコーダと2つの異なるデコーダを使用して生成検索と質問応答を行う。
両タスクの学習を容易にするために,大規模な言語モデルによって生成されたコネクタを導入し,クエリ入力と生成対象,およびドキュメント識別子と回答のギャップを埋める。
さらに,両タスクを反復的に改善するために,生成した回答と検索文書を活用する反復的拡張戦略を提案する。
ms marcoとnqデータセットの広範な実験を通じて、ユニゲンの有効性を実証し、検索と質問応答タスクの両方において優れた性能を示す。
関連論文リスト
- Towards a Unified Language Model for Knowledge-Intensive Tasks Utilizing
External Corpus [22.27534528275182]
各種知識集約型タスクに外部コーパスを利用する統一言語モデルを提案する。
提案手法は, 2種類のバックボーンモデルを用いて, KILTベンチマークを用いて評価した。
実験の結果,検索および下流の知識集約タスクにおいて,モデルの性能が優れていることが示された。
論文 参考訳(メタデータ) (2024-02-02T06:44:22Z) - Retrieval-Generation Synergy Augmented Large Language Models [30.53260173572783]
本稿では,反復的な検索・生成協調フレームワークを提案する。
シングルホップQAとマルチホップQAタスクを含む4つの質問応答データセットの実験を行った。
論文 参考訳(メタデータ) (2023-10-08T12:50:57Z) - Novel Dual-Generator Framework for Open-Domain Question Answering [22.38752607461632]
本稿では,高度な大規模言語モデル(LLM)と文書検索戦略の相乗化を目的とした,GRG(Generator-Retriever-Generator)と呼ばれる革新的な手法を提案する。
GRGモデルは、ジェネレーション・then-readや検索・then-readフレームワークを含む既存の最先端の方法論を明らかに超えている。
論文 参考訳(メタデータ) (2023-07-21T00:34:38Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - Active Retrieval Augmented Generation [123.68874416084499]
外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。
ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。
本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
論文 参考訳(メタデータ) (2023-05-11T17:13:40Z) - Generation-Augmented Query Expansion For Code Retrieval [51.20943646688115]
本稿では,次世代のクエリ拡張フレームワークを提案する。
人間の検索プロセスにインスパイアされた – 検索前に回答をスケッチする。
CodeSearchNetベンチマークで、最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2022-12-20T23:49:37Z) - MuRAG: Multimodal Retrieval-Augmented Generator for Open Question
Answering over Images and Text [58.655375327681774]
我々は,Multimodal Retrieval-Augmented Transformer (MuRAG)を提案する。
MuRAGは外部の非パラメトリックマルチモーダルメモリにアクセスして言語生成を増強する。
以上の結果から, MuRAGは最先端の精度を達成し, 既存のモデルよりも10~20%精度が高いことがわかった。
論文 参考訳(メタデータ) (2022-10-06T13:58:03Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。