Fugu-MT 論文翻訳(概要): Towards a Unified Language Model for Knowledge-Intensive Tasks Utilizing External Corpus

論文の概要: Towards a Unified Language Model for Knowledge-Intensive Tasks Utilizing External Corpus

arxiv url: http://arxiv.org/abs/2402.01176v1
Date: Fri, 2 Feb 2024 06:44:22 GMT
ステータス: 処理完了
システム内更新日: 2024-02-05 16:40:29.198123
Title: Towards a Unified Language Model for Knowledge-Intensive Tasks Utilizing External Corpus
Title（参考訳）: 外部コーパスを活用した知識集約型タスクのための統一言語モデルの構築
Authors: Xiaoxi Li, Zhicheng Dou, Yujia Zhou, Fangchao Liu
Abstract要約: 各種知識集約型タスクに外部コーパスを利用する統一言語モデルを提案する。提案手法は, 2種類のバックボーンモデルを用いて, KILTベンチマークを用いて評価した。実験の結果,検索および下流の知識集約タスクにおいて,モデルの性能が優れていることが示された。
参考スコア（独自算出の注目度）: 22.27534528275182
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The advent of large language models (LLMs) has showcased their efficacy across various domains, yet they often hallucinate, especially in knowledge-intensive tasks that require external knowledge sources. To improve factual accuracy of language models, retrieval-augmented generation (RAG) has emerged as a popular solution. However, traditional retrieval modules often rely on large-scale document indexes, which can be disconnected from generative tasks. Through generative retrieval (GR) approach, language models can achieve superior retrieval performance by directly generating relevant document identifiers (DocIDs). However, the relationship between GR and downstream tasks, as well as the potential of LLMs in GR, remains unexplored. In this paper, we present a unified language model that utilizes external corpus to handle various knowledge-intensive tasks by seamlessly integrating generative retrieval, closed-book generation, and RAG. In order to achieve effective retrieval and generation through a unified continuous decoding process, we introduce the following mechanisms: (1) a ranking-oriented DocID decoding strategy, which improves ranking ability by directly learning from a DocID ranking list; (2) a continuous generation strategy to facilitate effective and efficient RAG; (3) well-designed auxiliary DocID understanding tasks to enhance the model's comprehension of DocIDs and their relevance to downstream tasks. Our approach is evaluated on the widely used KILT benchmark using two variants of backbone models: an encoder-decoder T5 model and a decoder-only LLM, Llama2. Experimental results showcase the superior performance of our models in both retrieval and downstream knowledge-intensive tasks.
Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、様々な領域で有効性を示すが、特に外部の知識源を必要とする知識集約的なタスクにおいて、幻覚を呈することが多い。言語モデルの現実的精度を向上させるために,検索拡張生成(RAG)が一般的なソリューションとして登場した。しかし、従来の検索モジュールは、しばしば大規模なドキュメントインデックスに依存しており、生成タスクから切り離すことができる。生成検索(GR)アプローチにより,関連する文書識別子(DocID)を直接生成することにより,言語モデルによる検索性能が向上する。しかし、GR と下流タスクの関係は、GR における LLM の可能性と同様に未解明のままである。本稿では,外部コーパスを用いて生成検索,クローズドブック生成,RAGをシームレスに統合することにより,様々な知識集約タスクを処理する統一言語モデルを提案する。統合された連続復号処理により効果的な検索・生成を実現するため,(1)DocIDランキングリストから直接学習することでランキング能力を向上させるランキング指向DocIDデコーディング戦略,(2)効率的かつ効率的なRAGを促進する継続的生成戦略,(3)DocIDのモデル理解と下流タスクとの関連性を高めるためのよく設計された補助DocID理解タスクを紹介する。提案手法は,エンコーダデコーダT5モデルとデコーダのみのLLMであるLlama2の2種類のバックボーンモデルを用いて,KILTベンチマークを用いて評価した。実験結果は,検索とダウンストリームの知識集約タスクにおいて,モデルが優れた性能を示す。

関連論文リスト

CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
論文参考訳（メタデータ） (2024-11-19T16:54:45Z)
MemoRAG: Moving towards Next-Gen RAG Via Memory-Inspired Knowledge Discovery [24.38640001674072]
Retrieval-Augmented Generation (RAG)は、検索ツールを利用して外部データベースにアクセスする。既存のRAGシステムは主に簡単な質問応答タスクに有効である。本稿では,MemoRAGを提案する。
論文参考訳（メタデータ） (2024-09-09T13:20:31Z)
ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
論文参考訳（メタデータ） (2024-06-25T12:47:04Z)
Hi-Gen: Generative Retrieval For Large-Scale Personalized E-commerce Search [9.381220988816219]
本稿では,大規模パーソナライズされたEコマース検索システムのための効率的な階層符号化復号生成検索手法(Hi-Gen)を提案する。まず、メトリック学習を用いて表現学習モデルを構築し、アイテムの識別的特徴表現を学習する。そこで本研究では,カテゴリ誘導型階層クラスタリング手法を提案する。
論文参考訳（メタデータ） (2024-04-24T06:05:35Z)
List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation [80.12531449946655]
本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
論文参考訳（メタデータ） (2024-02-05T06:52:53Z)
Corrective Retrieval Augmented Generation [36.04062963574603]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文参考訳（メタデータ） (2024-01-29T04:36:39Z)
UniGen: A Unified Generative Framework for Retrieval and Question Answering with Large Language Models [22.457013726785295]
textbfUnified textbfGenerative framework for search and question answering。 UniGenは両方のタスクを単一の生成モデルに統合し、大きな言語モデルの能力を活用する。
論文参考訳（メタデータ） (2023-12-18T09:13:41Z)
Retrieval-Generation Synergy Augmented Large Language Models [30.53260173572783]
本稿では,反復的な検索・生成協調フレームワークを提案する。シングルホップQAとマルチホップQAタスクを含む4つの質問応答データセットの実験を行った。
論文参考訳（メタデータ） (2023-10-08T12:50:57Z)
Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文参考訳（メタデータ） (2022-09-21T01:30:59Z)
CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文参考訳（メタデータ） (2022-08-16T10:22:49Z)
Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文参考訳（メタデータ） (2022-04-22T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。