論文の概要: Active Retrieval Augmented Generation
- arxiv url: http://arxiv.org/abs/2305.06983v1
- Date: Thu, 11 May 2023 17:13:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 13:56:43.336608
- Title: Active Retrieval Augmented Generation
- Title(参考訳): アクティブ検索強化世代
- Authors: Zhengbao Jiang, Frank F. Xu, Luyu Gao, Zhiqing Sun, Qian Liu, Jane
Dwivedi-Yu, Yiming Yang, Jamie Callan, Graham Neubig
- Abstract要約: 外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。
ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索生成設定を採用している。
汎用検索拡張生成法であるFLARE(Forward-Looking Active Retrieval augmented generation)を提案する。
- 参考スコア(独自算出の注目度): 102.20131936632434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the remarkable ability of large language models (LMs) to comprehend
and generate language, they have a tendency to hallucinate and create factually
inaccurate output. Augmenting LMs by retrieving information from external
knowledge resources is one promising solution. Most existing
retrieval-augmented LMs employ a retrieve-and-generate setup that only
retrieves information once based on the input. This is limiting, however, in
more general scenarios involving generation of long texts, where continually
gathering information throughout the generation process is essential. There
have been some past efforts to retrieve information multiple times while
generating outputs, which mostly retrieve documents at fixed intervals using
the previous context as queries. In this work, we provide a generalized view of
active retrieval augmented generation, methods that actively decide when and
what to retrieve across the course of the generation. We propose
Forward-Looking Active REtrieval augmented generation (FLARE), a generic
retrieval-augmented generation method which iteratively uses a prediction of
the upcoming sentence to anticipate future content, which is then utilized as a
query to retrieve relevant documents to regenerate the sentence if it contains
low-confidence tokens. We test FLARE along with baselines comprehensively over
4 long-form knowledge-intensive generation tasks/datasets. FLARE achieves
superior or competitive performance on all tasks, demonstrating the
effectiveness of our method. Code and datasets are available at
https://github.com/jzbjyb/FLARE.
- Abstract(参考訳): 大きな言語モデル(LM)が言語を理解して生成する驚くべき能力にもかかわらず、彼らは幻覚を与え、事実的に不正確な出力を作り出す傾向にある。
外部知識資源から情報を取得することでlmsを増強することは有望な解決策である。
ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索生成設定を採用している。
しかし、長いテキストを生成する一般的なシナリオでは、生成プロセスを通して継続的に情報を収集することが不可欠である。
出力を生成しながら情報を複数回取得する試みは過去にも行われており、ほとんどの場合、以前のコンテキストをクエリとして使用して一定間隔で文書を検索する。
本研究は, アクティブ検索拡張生成の汎用的ビューを提供し, 生成過程をまたいでいつ, どのように検索するかを積極的に決定する手法を提案する。
提案するFLARE(Forward-Looking Active Retrieval augmented generation)は,次の文の予測を反復的に利用して将来の内容を予測し,低信頼トークンを含む場合,関連する文書を検索して文を再生するクエリとして利用する汎用検索拡張生成手法である。
FLAREを4つの長い知識集約型タスク/データセットに包括的にベースラインとともにテストする。
FLAREは,全タスクにおいて優れた,あるいは競争的な性能を達成し,本手法の有効性を実証する。
コードとデータセットはhttps://github.com/jzbjyb/flareで入手できる。
関連論文リスト
- DRAGIN: Dynamic Retrieval Augmented Generation based on the Real-time Information Needs of Large Language Models [12.580730377998158]
大規模言語モデル(LLM)のリアルタイム情報要求に基づく動的検索拡張生成を導入する。
本フレームワークは,テキスト生成プロセスにおいて,LLMのリアルタイム情報要求に基づいて,いつ,何を取得するかを決定するように設計されている。
実験の結果,DRAGINは全タスクにおいて優れた性能を示し,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2024-03-15T07:45:37Z) - ARKS: Active Retrieval in Knowledge Soup for Code Generation [18.22108704150575]
本稿では,コードのための大規模言語モデルを一般化するための高度な戦略である,知識検索におけるActive Retrieval(ARKS)を紹介する。
我々は、クエリを反復的に洗練し、知識のスープを更新するアクティブな検索戦略を採用している。
ChatGPTとCodeLlamaの実験結果から,LDM上でのARKSの平均実行精度が大幅に向上した。
論文 参考訳(メタデータ) (2024-02-19T17:37:28Z) - CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。
従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。
生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
論文 参考訳(メタデータ) (2024-02-02T06:44:22Z) - Corrective Retrieval Augmented Generation [39.371798735872865]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳(メタデータ) (2024-01-29T04:36:39Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳(メタデータ) (2023-10-16T16:42:01Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。