論文の概要: Towards Understanding Retrieval Accuracy and Prompt Quality in RAG Systems

• arxiv url: http://arxiv.org/abs/2411.19463v1
• Date: Fri, 29 Nov 2024 04:25:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:44.767520
• Title: Towards Understanding Retrieval Accuracy and Prompt Quality in RAG Systems
• Title（参考訳）: RAGシステムにおける検索精度とプロンプト品質の理解に向けて
• Authors: Shengming Zhao, Yuheng Huang, Jiayang Song, Zhijie Wang, Chengcheng Wan, Lei Ma,
• Abstract要約: 我々は、RAGシステムのメカニズムをよりよく理解するために、初期の探索的研究を行う。 本稿では,検索用文書の種類,検索用リコール,文書選択,プロンプト技術という4つの設計要素に着目した。 本研究は,各因子がシステム正当性と信頼にどのように影響するかを明らかにし,正確で信頼性の高いRAGシステムの開発に有用な知見を提供する。
• 参考スコア（独自算出の注目度）: 7.457969700747294
• License:
• Abstract: Retrieval-Augmented Generation (RAG) is a pivotal technique for enhancing the capability of large language models (LLMs) and has demonstrated promising efficacy across a diverse spectrum of tasks. While LLM-driven RAG systems show superior performance, they face unique challenges in stability and reliability. Their complexity hinders developers' efforts to design, maintain, and optimize effective RAG systems. Therefore, it is crucial to understand how RAG's performance is impacted by its design. In this work, we conduct an early exploratory study toward a better understanding of the mechanism of RAG systems, covering three code datasets, three QA datasets, and two LLMs. We focus on four design factors: retrieval document type, retrieval recall, document selection, and prompt techniques. Our study uncovers how each factor impacts system correctness and confidence, providing valuable insights for developing an accurate and reliable RAG system. Based on these findings, we present nine actionable guidelines for detecting defects and optimizing the performance of RAG systems. We hope our early exploration can inspire further advancements in engineering, improving and maintaining LLM-driven intelligent software systems for greater efficiency and reliability.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高めるための重要な技術であり、様々なタスクにおいて有望な有効性を示している。 LLM駆動のRAGシステムは優れた性能を示すが、安定性と信頼性に固有の課題に直面している。 これらの複雑さは、効率的なRAGシステムを設計、保守、最適化する開発者の努力を妨げる。 したがって、RAGの性能がその設計にどのように影響するかを理解することが不可欠である。 本研究では、3つのコードデータセット、3つのQAデータセット、2つのLLMを網羅し、RAGシステムのメカニズムをよりよく理解するための初期の探索的研究を行う。 本稿では,検索用文書の種類,検索用リコール,文書選択,プロンプト技術という4つの設計要素に着目した。 本研究は,各因子がシステム正当性と信頼にどのように影響するかを明らかにし,正確で信頼性の高いRAGシステムの開発に有用な知見を提供する。 これらの知見に基づき,RAGシステムの性能を最適化し,欠陥の検出に有効な9つのガイドラインを提示した。 当社の初期の調査は、LLM駆動のインテリジェントなソフトウェアシステムを改善し、維持し、より効率と信頼性を高めるために、エンジニアリングのさらなる進歩を促すことを願っています。

関連論文リスト

• Towards Trustworthy Retrieval Augmented Generation for Large Language Models: A Survey [92.36487127683053]
  Retrieval-Augmented Generation (RAG)は、AIGC(AIGC)の課題に対処するために設計された高度な技術である。 RAGは信頼性と最新の外部知識を提供し、幻覚を減らし、幅広いタスクで関連するコンテキストを保証する。 RAGの成功と可能性にもかかわらず、最近の研究により、RAGパラダイムはプライバシーの懸念、敵対的攻撃、説明責任の問題など、新たなリスクももたらしていることが示されている。
  論文  参考訳（メタデータ） (2025-02-08T06:50:47Z)
• RbFT: Robust Fine-tuning for Retrieval-Augmented Generation against Retrieval Defects [12.5122702720856]
  本稿では,検索欠陥に対する大規模言語モデルのレジリエンスを高めるために,Robust Fine-Tuning (RbFT)を提案する。 実験の結果,RbFTは多様な検索条件におけるRAGシステムのロバスト性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-01-30T14:15:09Z)
• Enhancing Retrieval-Augmented Generation: A Study of Best Practices [16.246719783032436]
  我々は,クエリ拡張,新しい検索戦略,新しいコントラシティブ・インコンテクスト学習RAGを取り入れた高度なRAGシステム設計を開発する。 本研究は,言語モデルのサイズ,プロンプトデザイン,文書チャンクサイズ,知識ベースサイズ,検索ストライド,クエリ拡張手法,文レベルでのコンテキスト検索など,重要な要素を体系的に検討する。 本研究は,RAGシステムの開発に有効な知見を提供し,文脈的豊かさと検索・生成効率のバランスを図った。
  論文  参考訳（メタデータ） (2025-01-13T15:07:55Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Towards Knowledge Checking in Retrieval-augmented Generation: A Representation Perspective [48.40768048080928]
  Retrieval-Augmented Generation (RAG) システムは,Large Language Models (LLM) の性能向上を約束している。 本研究の目的は,RAGシステムにおける知識チェックに関する体系的研究を提供することである。
  論文  参考訳（メタデータ） (2024-11-21T20:39:13Z)
• Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs [64.9693406713216]
  RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。 実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。 本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-20T16:08:54Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• VERA: Validation and Evaluation of Retrieval-Augmented Systems [5.709401805125129]
  VERAは、大規模言語モデル(LLM)からの出力の透明性と信頼性を高めるために設計されたフレームワークである。 VERAが意思決定プロセスを強化し、AIアプリケーションへの信頼を高める方法を示す。
  論文  参考訳（メタデータ） (2024-08-16T21:59:59Z)
• RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation [8.377398103067508]
  我々は、RAGのユースケースのための大規模言語モデルを拡張するためのオープンソースのフレームワークであるRAG Foundryを紹介します。 RAG Foundryはデータ生成、トレーニング、推論、評価を単一のワークフローに統合する。 多様なRAG構成を持つLlama-3およびPhi-3モデルを拡張し,微調整することで,フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2024-08-05T15:16:24Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。