論文の概要: Towards a Unified Language Model for Knowledge-Intensive Tasks Utilizing
External Corpus
- arxiv url: http://arxiv.org/abs/2402.01176v1
- Date: Fri, 2 Feb 2024 06:44:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 16:40:29.198123
- Title: Towards a Unified Language Model for Knowledge-Intensive Tasks Utilizing
External Corpus
- Title(参考訳): 外部コーパスを活用した知識集約型タスクのための統一言語モデルの構築
- Authors: Xiaoxi Li, Zhicheng Dou, Yujia Zhou, Fangchao Liu
- Abstract要約: 各種知識集約型タスクに外部コーパスを利用する統一言語モデルを提案する。
提案手法は, 2種類のバックボーンモデルを用いて, KILTベンチマークを用いて評価した。
実験の結果,検索および下流の知識集約タスクにおいて,モデルの性能が優れていることが示された。
- 参考スコア(独自算出の注目度): 22.27534528275182
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advent of large language models (LLMs) has showcased their efficacy
across various domains, yet they often hallucinate, especially in
knowledge-intensive tasks that require external knowledge sources. To improve
factual accuracy of language models, retrieval-augmented generation (RAG) has
emerged as a popular solution. However, traditional retrieval modules often
rely on large-scale document indexes, which can be disconnected from generative
tasks. Through generative retrieval (GR) approach, language models can achieve
superior retrieval performance by directly generating relevant document
identifiers (DocIDs). However, the relationship between GR and downstream
tasks, as well as the potential of LLMs in GR, remains unexplored. In this
paper, we present a unified language model that utilizes external corpus to
handle various knowledge-intensive tasks by seamlessly integrating generative
retrieval, closed-book generation, and RAG. In order to achieve effective
retrieval and generation through a unified continuous decoding process, we
introduce the following mechanisms: (1) a ranking-oriented DocID decoding
strategy, which improves ranking ability by directly learning from a DocID
ranking list; (2) a continuous generation strategy to facilitate effective and
efficient RAG; (3) well-designed auxiliary DocID understanding tasks to enhance
the model's comprehension of DocIDs and their relevance to downstream tasks.
Our approach is evaluated on the widely used KILT benchmark using two variants
of backbone models: an encoder-decoder T5 model and a decoder-only LLM, Llama2.
Experimental results showcase the superior performance of our models in both
retrieval and downstream knowledge-intensive tasks.
- Abstract(参考訳): 大規模言語モデル(LLM)の出現は、様々な領域で有効性を示すが、特に外部の知識源を必要とする知識集約的なタスクにおいて、幻覚を呈することが多い。
言語モデルの現実的精度を向上させるために,検索拡張生成(RAG)が一般的なソリューションとして登場した。
しかし、従来の検索モジュールは、しばしば大規模なドキュメントインデックスに依存しており、生成タスクから切り離すことができる。
生成検索(GR)アプローチにより,関連する文書識別子(DocID)を直接生成することにより,言語モデルによる検索性能が向上する。
しかし、GR と下流タスクの関係は、GR における LLM の可能性と同様に未解明のままである。
本稿では,外部コーパスを用いて生成検索,クローズドブック生成,RAGをシームレスに統合することにより,様々な知識集約タスクを処理する統一言語モデルを提案する。
統合された連続復号処理により効果的な検索・生成を実現するため,(1)DocIDランキングリストから直接学習することでランキング能力を向上させるランキング指向DocIDデコーディング戦略,(2)効率的かつ効率的なRAGを促進する継続的生成戦略,(3)DocIDのモデル理解と下流タスクとの関連性を高めるためのよく設計された補助DocID理解タスクを紹介する。
提案手法は,エンコーダデコーダT5モデルとデコーダのみのLLMであるLlama2の2種類のバックボーンモデルを用いて,KILTベンチマークを用いて評価した。
実験結果は,検索とダウンストリームの知識集約タスクにおいて,モデルが優れた性能を示す。
関連論文リスト
- Enhancing Retrieval Processes for Language Generation with Augmented
Queries [0.0]
本研究は,実事実に基づく正確な応答をモデルに誘導するRAG(Retrieval-Augmented Generation)を通じてこの問題に対処することに焦点を当てる。
スケーラビリティの問題を克服するために、BERTやOrca2といった洗練された言語モデルとユーザクエリを結びつけることを検討する。
実験結果から,RAGによる初期言語モデルの性能向上が示唆された。
論文 参考訳(メタデータ) (2024-02-06T13:19:53Z) - Corrective Retrieval Augmented Generation [39.371798735872865]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳(メタデータ) (2024-01-29T04:36:39Z) - UniGen: A Unified Generative Framework for Retrieval and Question
Answering with Large Language Models [22.457013726785295]
textbfUnified textbfGenerative framework for search and question answering。
UniGenは両方のタスクを単一の生成モデルに統合し、大きな言語モデルの能力を活用する。
論文 参考訳(メタデータ) (2023-12-18T09:13:41Z) - Retrieval-Generation Synergy Augmented Large Language Models [30.53260173572783]
本稿では,反復的な検索・生成協調フレームワークを提案する。
シングルホップQAとマルチホップQAタスクを含む4つの質問応答データセットの実験を行った。
論文 参考訳(メタデータ) (2023-10-08T12:50:57Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Recitation-Augmented Language Models [85.30591349383849]
知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。
具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-10-04T00:49:20Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳(メタデータ) (2022-08-16T10:22:49Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。