論文の概要: Seven Failure Points When Engineering a Retrieval Augmented Generation
System
- arxiv url: http://arxiv.org/abs/2401.05856v1
- Date: Thu, 11 Jan 2024 12:04:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 15:02:26.724183
- Title: Seven Failure Points When Engineering a Retrieval Augmented Generation
System
- Title(参考訳): 検索拡張生成システムのエンジニアリングにおける7つの障害点
- Authors: Scott Barnett, Stefanus Kurniawan, Srikanth Thudumu, Zach Brannelly,
Mohamed Abdelrazek
- Abstract要約: RAGシステムは,大規模言語モデルからの幻覚応答の問題を解決することを目的としている。
RAGシステムは情報検索システム固有の制限に悩まされている。
本稿では3つのケーススタディからRAGシステムの故障点について報告する。
- 参考スコア(独自算出の注目度): 1.8776685617612472
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software engineers are increasingly adding semantic search capabilities to
applications using a strategy known as Retrieval Augmented Generation (RAG). A
RAG system involves finding documents that semantically match a query and then
passing the documents to a large language model (LLM) such as ChatGPT to
extract the right answer using an LLM. RAG systems aim to: a) reduce the
problem of hallucinated responses from LLMs, b) link sources/references to
generated responses, and c) remove the need for annotating documents with
meta-data. However, RAG systems suffer from limitations inherent to information
retrieval systems and from reliance on LLMs. In this paper, we present an
experience report on the failure points of RAG systems from three case studies
from separate domains: research, education, and biomedical. We share the
lessons learned and present 7 failure points to consider when designing a RAG
system. The two key takeaways arising from our work are: 1) validation of a RAG
system is only feasible during operation, and 2) the robustness of a RAG system
evolves rather than designed in at the start. We conclude with a list of
potential research directions on RAG systems for the software engineering
community.
- Abstract(参考訳): ソフトウェアエンジニアは、Retrieval Augmented Generation (RAG)と呼ばれる戦略を使って、アプリケーションにセマンティック検索機能を追加している。
RAGシステムは、クエリにセマンティックにマッチした文書を見つけて、ChatGPTのような大きな言語モデル(LLM)に渡して、LLMを使って正しい回答を抽出する。
RAGシステムの目的は
a) LLMからの幻覚応答の問題を軽減すること。
b) 生成した応答のソース/参照,及び
c) メタデータでドキュメントをアノテートする必要がなくなる。
しかし、RAGシステムは情報検索システムに固有の制約やLLMに依存する制約に悩まされている。
本稿では, 研究, 教育, 生物医学の3つの事例から, ragシステムの障害点についての経験報告を行う。
我々は、RAGシステムを設計する際に学んだ教訓を共有し、現在7つの障害点を共有している。
私たちの仕事から生じる2つの重要なポイントは
1)ragシステムの検証は運用中のみ実施可能であり、
2)RAGシステムの堅牢性は最初から設計されるのではなく進化する。
我々は、ソフトウェアエンジニアリングコミュニティ向けのRAGシステムに関する潜在的研究の方向性のリストをまとめて締めくくる。
関連論文リスト
- RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems [51.171355532527365]
本稿では,RAGシステムの解析と最適化を行うRAGGEDフレームワークを紹介する。
エンコーダデコーダとデコーダのみのアーキテクチャにおいて,2つの古典的スパースと高密度検索器,および4つのトップパフォーマンスLMについて検討した。
論文 参考訳(メタデータ) (2024-03-14T02:26:31Z) - Retrieval-Augmented Generation for AI-Generated Content: A Survey [36.577189818885486]
このような課題に対処するためのパラダイムとして,レトリーバル拡張生成(RAG)が登場している。
RAGは情報検索プロセスを導入し、利用可能なデータストアから関連オブジェクトを検索することでAIGC結果を強化する。
本稿では,RAG手法をAIGCシナリオに統合する既存の取り組みを概観的にレビューする。
論文 参考訳(メタデータ) (2024-02-29T18:59:01Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - Retrieval Augmented Generation Systems: Automatic Dataset Creation,
Evaluation and Boolean Agent Setup [5.464952345664292]
Retrieval Augmented Generation (RAG) システムは、Large-Language Model (LLM) 出力をドメイン固有データと時間機密データで拡張することで大きな人気を得ている。
本稿では,RAG戦略を定量的に比較するために,厳密なデータセット作成と評価のワークフローを提案する。
論文 参考訳(メタデータ) (2024-02-26T12:56:17Z) - The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented
Generation (RAG) [56.67603627046346]
Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。
本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
論文 参考訳(メタデータ) (2024-02-23T18:35:15Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented
Generation of Large Language Models [55.47070014913373]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - The Power of Noise: Redefining Retrieval for RAG Systems [20.22211173429561]
Retrieval-Augmented Generation (RAG) システムは従来のLarge Language Models (LLM) よりも大幅に進歩している。
本稿では,有効なRAGのプロンプト定式化のために,検索者が保持すべき特徴について分析する。
無関係な文書を含むと、予想外に30%以上の精度で性能を向上できることがわかった。
論文 参考訳(メタデータ) (2024-01-26T14:14:59Z) - ARES: An Automated Evaluation Framework for Retrieval-Augmented
Generation Systems [50.82251875013377]
ARESは軽量LM判定器を微調整し、個々のRAG成分の品質を評価する。
予測駆動推論(PPI)のための人間アノテーション付きデータポイントの小さなセットの利用
ARESは、数百の人間のアノテーションを使用して、RAGシステムを正確に評価する。
論文 参考訳(メタデータ) (2023-11-16T00:39:39Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。