Fugu-MT 論文翻訳(概要): CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks

論文の概要: CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks

arxiv url: http://arxiv.org/abs/2402.01176v2
Date: Sun, 21 Apr 2024 08:33:32 GMT
ステータス: 処理完了
システム内更新日: 2024-04-23 23:43:55.616204
Title: CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks
Title（参考訳）: CorpusLM:知識集約型タスクのためのコーパス上の統一言語モデルを目指して
Authors: Xiaoxi Li, Zhicheng Dou, Yujia Zhou, Fangchao Liu,
Abstract要約: Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
参考スコア（独自算出の注目度）: 20.390672895839757
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) have gained significant attention in various fields but prone to hallucination, especially in knowledge-intensive (KI) tasks. To address this, retrieval-augmented generation (RAG) has emerged as a popular solution to enhance factual accuracy. However, traditional retrieval modules often rely on large document index and disconnect with generative tasks. With the advent of generative retrieval (GR), language models can retrieve by directly generating document identifiers (DocIDs), offering superior performance in retrieval tasks. However, the potential relationship between GR and downstream tasks remains unexplored. In this paper, we propose \textbf{CorpusLM}, a unified language model that leverages external corpus to tackle various knowledge-intensive tasks by integrating generative retrieval, closed-book generation, and RAG through a unified greedy decoding process. We design the following mechanisms to facilitate effective retrieval and generation, and improve the end-to-end effectiveness of KI tasks: (1) We develop a ranking-oriented DocID list generation strategy, which refines GR by directly learning from a DocID ranking list, to improve retrieval quality. (2) We design a continuous DocIDs-References-Answer generation strategy, which facilitates effective and efficient RAG. (3) We employ well-designed unsupervised DocID understanding tasks, to comprehend DocID semantics and their relevance to downstream tasks. We evaluate our approach on the widely used KILT benchmark with two variants of backbone models, i.e., T5 and Llama2. Experimental results demonstrate the superior performance of our models in both retrieval and downstream tasks.
Abstract（参考訳）: 大規模言語モデル(LLM)は様々な分野において注目されているが、特に知識集約型(KI)タスクでは幻覚の傾向が強い。これを解決するために、検索強化世代(RAG)が、事実の精度を高めるための一般的なソリューションとして登場した。しかし、従来の検索モジュールは大きなドキュメントインデックスに頼り、生成タスクを切断することが多い。生成検索(GR)の出現により、言語モデルはドキュメント識別子(DocID)を直接生成し、検索タスクにおいて優れたパフォーマンスを提供する。しかし、GRと下流タスクの潜在的な関係は未解明のままである。本稿では,外部コーパスを利用した統合型言語モデルである \textbf{CorpusLM} を提案する。本研究では,有効な検索・生成の促進とKIタスクのエンド・ツー・エンドの有効性の向上を図るためのメカニズムを設計する。(1) ランキング指向のDocIDリスト生成戦略を開発し,検索品質を向上させるために,DocIDランキングから直接学習することでGRを洗練する。 2) 効率的なRAGを支援する継続的DocID-References-Answer生成戦略を設計する。 (3) 制御不能なDocID理解タスクを用いて,DocIDのセマンティクスと下流タスクとの関連性を理解する。 T5とLlama2の2種類のバックボーンモデルを用いて、広く使われているKILTベンチマークに対するアプローチを評価した。実験の結果,検索タスクと下流タスクの両方において,モデルの性能が優れていることが示された。

関連論文リスト

CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
論文参考訳（メタデータ） (2024-11-19T16:54:45Z)
MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery [24.38640001674072]
Retrieval-Augmented Generation (RAG)は、検索ツールを利用して外部データベースにアクセスする。既存のRAGシステムは主に簡単な質問応答タスクに有効である。本稿では,MemoRAGを提案する。
論文参考訳（メタデータ） (2024-09-09T13:20:31Z)
ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
論文参考訳（メタデータ） (2024-06-25T12:47:04Z)
Hi-Gen: Generative Retrieval For Large-Scale Personalized E-commerce Search [9.381220988816219]
本稿では,大規模パーソナライズされたEコマース検索システムのための効率的な階層符号化復号生成検索手法(Hi-Gen)を提案する。まず、メトリック学習を用いて表現学習モデルを構築し、アイテムの識別的特徴表現を学習する。そこで本研究では,カテゴリ誘導型階層クラスタリング手法を提案する。
論文参考訳（メタデータ） (2024-04-24T06:05:35Z)
List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation [80.12531449946655]
本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
論文参考訳（メタデータ） (2024-02-05T06:52:53Z)
Corrective Retrieval Augmented Generation [36.04062963574603]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文参考訳（メタデータ） (2024-01-29T04:36:39Z)
UniGen: A Unified Generative Framework for Retrieval and Question Answering with Large Language Models [22.457013726785295]
textbfUnified textbfGenerative framework for search and question answering。 UniGenは両方のタスクを単一の生成モデルに統合し、大きな言語モデルの能力を活用する。
論文参考訳（メタデータ） (2023-12-18T09:13:41Z)
Retrieval-Generation Synergy Augmented Large Language Models [30.53260173572783]
本稿では,反復的な検索・生成協調フレームワークを提案する。シングルホップQAとマルチホップQAタスクを含む4つの質問応答データセットの実験を行った。
論文参考訳（メタデータ） (2023-10-08T12:50:57Z)
Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文参考訳（メタデータ） (2022-09-21T01:30:59Z)
CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文参考訳（メタデータ） (2022-08-16T10:22:49Z)
Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文参考訳（メタデータ） (2022-04-22T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。