論文の概要: RAGOps: Operating and Managing Retrieval-Augmented Generation Pipelines

• arxiv url: http://arxiv.org/abs/2506.03401v1
• Date: Tue, 03 Jun 2025 21:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.059667
• Title: RAGOps: Operating and Managing Retrieval-Augmented Generation Pipelines
• Title（参考訳）: RAGOps: Retrieval-Augmented Generation Pipelinesの運用と管理
• Authors: Xiwei Xu, Hans Weytjens, Dawen Zhang, Qinghua Lu, Ingo Weber, Liming Zhu,
• Abstract要約: 近年の研究では、企業環境におけるLLM系化合物システムの60%が、何らかの形態の検索増強生成(RAG)を利用していることが示されている。 RAGOpsは、外部データソースの継続的な変更に対処するために、データ管理に重点を置き、LLMOpsを拡張している。
• 参考スコア（独自算出の注目度）: 14.352109014262991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies show that 60% of LLM-based compound systems in enterprise environments leverage some form of retrieval-augmented generation (RAG), which enhances the relevance and accuracy of LLM (or other genAI) outputs by retrieving relevant information from external data sources. LLMOps involves the practices and techniques for managing the lifecycle and operations of LLM compound systems in production environments. It supports enhancing LLM systems through continuous operations and feedback evaluation. RAGOps extends LLMOps by incorporating a strong focus on data management to address the continuous changes in external data sources. This necessitates automated methods for evaluating and testing data operations, enhancing retrieval relevance and generation quality. In this paper, we (1) characterize the generic architecture of RAG applications based on the 4+1 model view for describing software architectures, (2) outline the lifecycle of RAG systems, which integrates the management lifecycles of both the LLM and the data, (3) define the key design considerations of RAGOps across different stages of the RAG lifecycle and quality trade-off analyses, (4) highlight the overarching research challenges around RAGOps, and (5) present two use cases of RAG applications and the corresponding RAGOps considerations.
• Abstract（参考訳）: 近年の研究では、企業環境におけるLLMベースの化合物システムの60%が、外部データソースから関連情報を検索することで、LLM(または他のgenAI)出力の関連性や正確性を高める、何らかのタイプの検索強化生成(RAG)を利用していることが示されている。 LLMOpsは、LLM複合システムのライフサイクルと運用を運用環境で管理するためのプラクティスとテクニックを含んでいる。 連続的な操作とフィードバック評価によるLLMシステムの強化をサポートする。 RAGOpsは、外部データソースの継続的な変更に対処するために、データ管理に重点を置き、LLMOpsを拡張している。 これにより、データ操作の評価とテスト、検索関連性の向上、生成品質の向上が必要とされる。 本稿では,(1)ソフトウェアアーキテクチャを記述するための4+1モデルビューに基づくRAGアプリケーションの汎用アーキテクチャを特徴付け,(2)LLMとデータの両方の管理ライフサイクルを統合するRAGシステムのライフサイクルの概要,(3)RAGOpsのライフサイクルと品質トレードオフ分析の異なる段階にわたる重要な設計上の考察,(4)RAGOpsに関する包括的な研究課題,(5)RAGOpsアプリケーションとそれに対応するRAGOpsの2つのユースケースについて述べる。

関連論文リスト

• Cross-Format Retrieval-Augmented Generation in XR with LLMs for Context-Aware Maintenance Assistance [6.16808916207942]
  本稿では,大規模言語モデル(LLM)を統合した検索拡張生成システムの詳細な評価を行う。 BLEU と METEOR のスコアを用いて,応答速度や精度などの重要な指標を定量化する8つの LLM の性能評価を行った。 その結果、システムがタイムリーかつ正確なレスポンスを提供する能力を評価し、メンテナンス操作を最適化するRAGフレームワークの可能性を強調した。
  論文  参考訳（メタデータ） (2025-02-21T17:19:39Z)
• LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing [70.35888047551643]
  本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文の2326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
  論文  参考訳（メタデータ） (2025-02-14T08:04:22Z)
• OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain [62.89809156574998]
  金融分野において全方向自動RAGベンチマークであるOmniEvalを導入する。 我々のベンチマークは多次元評価フレームワークによって特徴づけられる。 実験では、広範囲なテストデータセットを含むOmniEvalの包括性を実証した。
  論文  参考訳（メタデータ） (2024-12-17T15:38:42Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Evaluating the Efficacy of Open-Source LLMs in Enterprise-Specific RAG Systems: A Comparative Study of Performance and Scalability [0.0]
  本稿では,オープンソースの大規模言語モデル(LLM)とその検索・拡張生成(RAG)タスクへの応用について述べる。 この結果から,オープンソースのLCMと効果的な埋め込み技術が組み合わさって,RAGシステムの精度と効率を大幅に向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-06-17T11:22:25Z)
• Retrieval-Augmented Generation-based Relation Extraction [0.0]
  Retrieved-Augmented Generation-based Relation extract (RAG4RE) を提案する。 本研究は,Large Language Models (LLM) を用いたRAG4RE手法の有効性を評価する。 我々のRAG4REアプローチが従来のREアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-20T14:42:43Z)
• Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases [9.478012553728538]
  大規模言語モデル(LLM)の現実的精度を向上させるために,検索拡張生成(RAG)を利用するエンド・ツー・エンドのシステム設計を提案する。 我々のシステムはRAGパイプラインと上流データセット処理と下流性能評価を統合している。 本実験は,ドメイン固有で時間に敏感な質問に対して,より正確な回答を生成するシステムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-15T16:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。