論文の概要: Retrieval-Augmented Generation for Large Language Models: A Survey
- arxiv url: http://arxiv.org/abs/2312.10997v1
- Date: Mon, 18 Dec 2023 07:47:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 20:52:18.528911
- Title: Retrieval-Augmented Generation for Large Language Models: A Survey
- Title(参考訳): 大規模言語モデルのための検索型生成:調査
- Authors: Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi,
Yi Dai, Jiawei Sun and Haofen Wang
- Abstract要約: Retrieval-Augmented Generation (RAG)は、大きな言語モデルで質問に答える前に、外部知識ベースから関連する情報を検索することを指す。
情報源を引用することで、ユーザーは回答の正確さを確認し、モデルの出力に対する信頼を高めることができる。
本稿では,大規模言語モデルの時代におけるRAGの開発パラダイムについて概説する。
- 参考スコア(独自算出の注目度): 12.634421326174095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) demonstrate powerful capabilities, but they
still face challenges in practical applications, such as hallucinations, slow
knowledge updates, and lack of transparency in answers. Retrieval-Augmented
Generation (RAG) refers to the retrieval of relevant information from external
knowledge bases before answering questions with LLMs. RAG has been demonstrated
to significantly enhance answer accuracy, reduce model hallucination,
particularly for knowledge-intensive tasks. By citing sources, users can verify
the accuracy of answers and increase trust in model outputs. It also
facilitates knowledge updates and the introduction of domain-specific
knowledge. RAG effectively combines the parameterized knowledge of LLMs with
non-parameterized external knowledge bases, making it one of the most important
methods for implementing large language models. This paper outlines the
development paradigms of RAG in the era of LLMs, summarizing three paradigms:
Naive RAG, Advanced RAG, and Modular RAG. It then provides a summary and
organization of the three main components of RAG: retriever, generator, and
augmentation methods, along with key technologies in each component.
Furthermore, it discusses how to evaluate the effectiveness of RAG models,
introducing two evaluation methods for RAG, emphasizing key metrics and
abilities for evaluation, and presenting the latest automatic evaluation
framework. Finally, potential future research directions are introduced from
three aspects: vertical optimization, horizontal scalability, and the technical
stack and ecosystem of RAG.
- Abstract(参考訳): 大きな言語モデル(LLM)は強力な能力を示しているが、幻覚、知識更新の遅さ、回答の透明性の欠如など、実践的なアプリケーションでは依然として課題に直面している。
Retrieval-Augmented Generation (RAG)は、LLMで質問に答える前に、外部知識ベースから関連する情報を検索することを指す。
RAGは、特に知識集約的なタスクにおいて、解答精度を大幅に向上し、モデル幻覚を減らすことが示されている。
情報源を引用することで、ユーザーは回答の正確さを確認し、モデルの出力に対する信頼を高めることができる。
また、知識の更新やドメイン固有の知識の導入も促進します。
RAGは、LLMのパラメータ化された知識と非パラメータ化された外部知識ベースを効果的に組み合わせ、大規模な言語モデルを実装する上で最も重要な方法の1つである。
本稿では,LLM時代のRAGの発展パラダイムを概説し,Naive RAG,Advanced RAG,Modular RAGの3つのパラダイムを要約する。
次に、RAGの3つの主要コンポーネントの要約と構成を提供する:レトリバー、ジェネレータ、拡張メソッド、そして各コンポーネントの主要な技術である。
さらに、RAGモデルの有効性の評価方法、RAGの2つの評価手法の導入、主要な指標と評価能力の強調、最新の自動評価フレームワークの提示について論じる。
最後に、垂直最適化、水平スケーラビリティ、RAGの技術スタックとエコシステムの3つの側面から将来の研究方向性が紹介される。
関連論文リスト
- Retrieval-Augmented Generation for AI-Generated Content: A Survey [36.577189818885486]
このような課題に対処するためのパラダイムとして,レトリーバル拡張生成(RAG)が登場している。
RAGは情報検索プロセスを導入し、利用可能なデータストアから関連オブジェクトを検索することでAIGC結果を強化する。
本稿では,RAG手法をAIGCシナリオに統合する既存の取り組みを概観的にレビューする。
論文 参考訳(メタデータ) (2024-02-29T18:59:01Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - RAG-Fusion: a New Take on Retrieval-Augmented Generation [0.0]
Infineonは、エンジニア、アカウントマネージャ、顧客が迅速に製品情報を取得する必要性を特定している。
この研究は人工知能(AI)と自然言語処理(NLP)の応用において大きな進歩をみせている。
論文 参考訳(メタデータ) (2024-01-31T22:06:07Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented
Generation of Large Language Models [55.47070014913373]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - The Power of Noise: Redefining Retrieval for RAG Systems [20.22211173429561]
Retrieval-Augmented Generation (RAG) システムは従来のLarge Language Models (LLM) よりも大幅に進歩している。
本稿では,有効なRAGのプロンプト定式化のために,検索者が保持すべき特徴について分析する。
無関係な文書を含むと、予想外に30%以上の精度で性能を向上できることがわかった。
論文 参考訳(メタデータ) (2024-01-26T14:14:59Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z) - RAGAS: Automated Evaluation of Retrieval Augmented Generation [25.402461447140823]
RAGAはRetrieval Augmented Generationパイプラインを評価するためのフレームワークである。
RAGシステムは、検索とLLMベースの生成モジュールで構成される。
論文 参考訳(メタデータ) (2023-09-26T19:23:54Z) - Large Language Models for Information Retrieval: A Survey [57.7992728506871]
情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。
近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。
LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
論文 参考訳(メタデータ) (2023-08-14T12:47:22Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - A Comprehensive Survey of AI-Generated Content (AIGC): A History of
Generative AI from GAN to ChatGPT [63.58711128819828]
ChatGPTおよびその他の生成AI(GAI)技術は、人工知能生成コンテンツ(AIGC)のカテゴリに属している。
AIGCの目標は、コンテンツ作成プロセスをより効率的かつアクセスしやすくし、高品質なコンテンツをより高速に生産できるようにすることである。
論文 参考訳(メタデータ) (2023-03-07T20:36:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。