論文の概要: UniGen: A Unified Generative Framework for Retrieval and Question Answering with Large Language Models

• arxiv url: http://arxiv.org/abs/2312.11036v1
• Date: Mon, 18 Dec 2023 09:13:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 20:42:25.487062
• Title: UniGen: A Unified Generative Framework for Retrieval and Question Answering with Large Language Models
• Title（参考訳）: UniGen: 大規模言語モデルによる検索と質問応答のための統合生成フレームワーク
• Authors: Xiaoxi Li, Yujia Zhou, Zhicheng Dou
• Abstract要約: textbfUnified textbfGenerative framework for search and question answering。 UniGenは両方のタスクを単一の生成モデルに統合し、大きな言語モデルの能力を活用する。
• 参考スコア（独自算出の注目度）: 22.457013726785295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative information retrieval, encompassing two major tasks of Generative Document Retrieval (GDR) and Grounded Answer Generation (GAR), has gained significant attention in the area of information retrieval and natural language processing. Existing methods for GDR and GAR rely on separate retrieval and reader modules, which hinder simultaneous optimization. To overcome this, we present \textbf{UniGen}, a \textbf{Uni}fied \textbf{Gen}erative framework for retrieval and question answering that integrates both tasks into a single generative model leveraging the capabilities of large language models. UniGen employs a shared encoder and two distinct decoders for generative retrieval and question answering. To facilitate the learning of both tasks, we introduce connectors, generated by large language models, to bridge the gaps between query inputs and generation targets, as well as between document identifiers and answers. Furthermore, we propose an iterative enhancement strategy that leverages generated answers and retrieved documents to iteratively improve both tasks. Through extensive experiments on the MS MARCO and NQ datasets, we demonstrate the effectiveness of UniGen, showcasing its superior performance in both the retrieval and the question answering tasks.
• Abstract（参考訳）: GDR(Generative Document Retrieval)とGAR(Geunded Answer Generation)の2つの主要なタスクを含む生成情報検索は、情報検索と自然言語処理の分野で大きな注目を集めている。 GDRとGARの既存の手法は別個の検索モジュールと読み取りモジュールに依存しており、同時最適化を妨げている。 これを解決するために、大きな言語モデルの能力を生かした単一生成モデルに両方のタスクを統合する、検索と質問応答のための \textbf{Uni}fied \textbf{Gen}erative フレームワークである \textbf{UniGen} を提案する。 UniGenは共有エンコーダと2つの異なるデコーダを使用して生成検索と質問応答を行う。 両タスクの学習を容易にするために,大規模な言語モデルによって生成されたコネクタを導入し,クエリ入力と生成対象,およびドキュメント識別子と回答のギャップを埋める。 さらに,両タスクを反復的に改善するために,生成した回答と検索文書を活用する反復的拡張戦略を提案する。 ms marcoとnqデータセットの広範な実験を通じて、ユニゲンの有効性を実証し、検索と質問応答タスクの両方において優れた性能を示す。

関連論文リスト

• CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
  CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。 我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。 私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
  論文  参考訳（メタデータ） (2024-11-19T16:54:45Z)
• ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Unified Text-to-Image Generation and Retrieval [96.72318842152148]
  MLLM(Multimodal Large Language Models)の文脈における統一フレームワークを提案する。 まず,MLLMの内在的識別能力について検討し,学習自由な方法で検索を行うための生成的検索手法を提案する。 次に、自動回帰生成方式で生成と検索を統一し、生成した画像と検索した画像の最も適合した画像を選択する自律的決定モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-09T15:00:28Z)
• CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
  Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。 従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。 生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
  論文  参考訳（メタデータ） (2024-02-02T06:44:22Z)
• Retrieval-Generation Synergy Augmented Large Language Models [30.53260173572783]
  本稿では,反復的な検索・生成協調フレームワークを提案する。 シングルホップQAとマルチホップQAタスクを含む4つの質問応答データセットの実験を行った。
  論文  参考訳（メタデータ） (2023-10-08T12:50:57Z)
• Generator-Retriever-Generator Approach for Open-Domain Question Answering [18.950517545413813]
  文書検索手法と大規模言語モデル(LLM)を組み合わせた新しい手法を提案する。 並行して、デュアルエンコーダネットワークは、外部コーパスから質問に関連する文書を検索する。 GRGは最先端のgenerator-then-readおよびrecovery-then-readパイプラインより優れている。
  論文  参考訳（メタデータ） (2023-07-21T00:34:38Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)
• Active Retrieval Augmented Generation [123.68874416084499]
  外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。 ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。 本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T17:13:40Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。