論文の概要: Retrieval-Augmented Generation for AI-Generated Content: A Survey
- arxiv url: http://arxiv.org/abs/2402.19473v1
- Date: Thu, 29 Feb 2024 18:59:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 13:16:12.523035
- Title: Retrieval-Augmented Generation for AI-Generated Content: A Survey
- Title(参考訳): AI生成コンテンツの検索拡張生成:サーベイ
- Authors: Penghao Zhao, Hailin Zhang, Qinhan Yu, Zhengren Wang, Yunteng Geng,
Fangcheng Fu, Ling Yang, Wentao Zhang, Bin Cui
- Abstract要約: このような課題に対処するためのパラダイムとして,レトリーバル拡張生成(RAG)が登場している。
RAGは情報検索プロセスを導入し、利用可能なデータストアから関連オブジェクトを検索することでAIGC結果を強化する。
本稿では,RAG手法をAIGCシナリオに統合する既存の取り組みを概観的にレビューする。
- 参考スコア(独自算出の注目度): 36.577189818885486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The development of Artificial Intelligence Generated Content (AIGC) has been
facilitated by advancements in model algorithms, scalable foundation model
architectures, and the availability of ample high-quality datasets. While AIGC
has achieved remarkable performance, it still faces challenges, such as the
difficulty of maintaining up-to-date and long-tail knowledge, the risk of data
leakage, and the high costs associated with training and inference.
Retrieval-Augmented Generation (RAG) has recently emerged as a paradigm to
address such challenges. In particular, RAG introduces the information
retrieval process, which enhances AIGC results by retrieving relevant objects
from available data stores, leading to greater accuracy and robustness. In this
paper, we comprehensively review existing efforts that integrate RAG technique
into AIGC scenarios. We first classify RAG foundations according to how the
retriever augments the generator. We distill the fundamental abstractions of
the augmentation methodologies for various retrievers and generators. This
unified perspective encompasses all RAG scenarios, illuminating advancements
and pivotal technologies that help with potential future progress. We also
summarize additional enhancements methods for RAG, facilitating effective
engineering and implementation of RAG systems. Then from another view, we
survey on practical applications of RAG across different modalities and tasks,
offering valuable references for researchers and practitioners. Furthermore, we
introduce the benchmarks for RAG, discuss the limitations of current RAG
systems, and suggest potential directions for future research. Project:
https://github.com/hymie122/RAG-Survey
- Abstract(参考訳): aigc(artificial intelligence generated content)の開発は、モデルアルゴリズムの進歩、スケーラブルな基盤モデルアーキテクチャ、豊富な高品質データセットの可用性によって促進されている。
AIGCは目覚ましいパフォーマンスを達成したが、最新知識と長期知識の維持の難しさ、データ漏洩のリスク、トレーニングと推論に関連する高コストなど、依然として課題に直面している。
Retrieval-Augmented Generation (RAG) はそのような課題に対処するためのパラダイムとして最近登場した。
特に、RAGは情報検索プロセスを導入し、関連するオブジェクトを利用可能なデータストアから取得することでAIGC結果を強化し、精度と堅牢性を高める。
本稿では,RAG手法をAIGCシナリオに統合する既存の取り組みを概観的にレビューする。
まず、RAGファウンデーションを、レトリバーがジェネレータをどのように拡張するかに応じて分類する。
各種レトリバーおよびジェネレータのための拡張手法の基礎的抽象化を蒸留する。
この統合された視点は、すべてのRAGシナリオを包含し、将来の進歩に役立つ進歩と重要な技術を示します。
また、RAGシステムの効率的なエンジニアリングと実装を容易にするため、RAGのさらなる拡張手法についても要約する。
また,異なるモダリティやタスクにまたがるragの実践的応用について検討し,研究者や実践者に貴重な資料を提供する。
さらに、RAGのベンチマークを導入し、現在のRAGシステムの限界について議論し、今後の研究の方向性を提案する。
プロジェクト:https://github.com/hymie122/RAG-Survey
関連論文リスト
- Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。
具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。
さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
論文 参考訳(メタデータ) (2024-10-11T14:03:29Z) - A Knowledge-Centric Benchmarking Framework and Empirical Study for Retrieval-Augmented Generation [4.359511178431438]
Retrieval-Augmented Generation (RAG)は、検索機構を統合することで生成モデルを強化する。
その利点にもかかわらず、RAGは特に現実世界のクエリを効果的に処理する上で、大きな課題に直面している。
本稿では,これらの課題に対処する新しいRAGベンチマークを提案する。
論文 参考訳(メタデータ) (2024-09-03T03:31:37Z) - RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。
RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。
RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
論文 参考訳(メタデータ) (2024-08-15T10:20:54Z) - RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation [8.377398103067508]
我々は、RAGのユースケースのための大規模言語モデルを拡張するためのオープンソースのフレームワークであるRAG Foundryを紹介します。
RAG Foundryはデータ生成、トレーニング、推論、評価を単一のワークフローに統合する。
多様なRAG構成を持つLlama-3およびPhi-3モデルを拡張し,微調整することで,フレームワークの有効性を示す。
論文 参考訳(メタデータ) (2024-08-05T15:16:24Z) - A Study on the Implementation Method of an Agent-Based Advanced RAG System Using Graph [0.0]
本研究では、グラフ技術に基づく高度なRAGシステムを実装し、高品質な生成AIサービスを開発する。
検索した情報の信頼性を評価するためにLangGraphを使用し、さまざまなデータを合成して、より正確で拡張されたレスポンスを生成する。
論文 参考訳(メタデータ) (2024-07-29T13:26:43Z) - A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。
Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。
RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
論文 参考訳(メタデータ) (2024-05-10T02:48:45Z) - Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。
本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。
本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
論文 参考訳(メタデータ) (2024-03-22T17:13:46Z) - Distillation Enhanced Generative Retrieval [96.69326099136289]
生成的検索はテキスト検索において有望な新しいパラダイムであり、関連する通路の識別子文字列を検索対象として生成する。
本研究は, 蒸留による生成的検索をさらに促進するための有効な方向を特定し, DGR という名称の実行可能なフレームワークを提案する。
本研究では,4つの公開データセットに対して実験を行い,DGRが生成的検索手法の最先端性能を達成することを示す。
論文 参考訳(メタデータ) (2024-02-16T15:48:24Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - Retrieval-Augmented Generation for Large Language Models: A Survey [17.82361213043507]
大きな言語モデル(LLM)には印象的な能力があるが、幻覚のような課題に直面している。
Retrieval-Augmented Generation (RAG) は,外部データベースからの知識を取り入れた,有望なソリューションとして登場した。
論文 参考訳(メタデータ) (2023-12-18T07:47:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。