論文の概要: RAGExplorer: A Visual Analytics System for the Comparative Diagnosis of RAG Systems
- arxiv url: http://arxiv.org/abs/2601.12991v1
- Date: Mon, 19 Jan 2026 12:09:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.894411
- Title: RAGExplorer: A Visual Analytics System for the Comparative Diagnosis of RAG Systems
- Title(参考訳): RAGExplorer:RAGシステムの比較診断のためのビジュアル分析システム
- Authors: Haoyu Tian, Yingchaojie Feng, Zhen Wen, Haoxuan Li, Minfeng Zhu, Wei Chen,
- Abstract要約: RAGExplorerは、RAG構成の系統的比較と診断のための視覚分析システムである。
本稿では,RAGExplorerの有効性を,詳細なケーススタディとユーザスタディを通じて実証する。
- 参考スコア(独自算出の注目度): 12.726326169727733
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advent of Retrieval-Augmented Generation (RAG) has significantly enhanced the ability of Large Language Models (LLMs) to produce factually accurate and up-to-date responses. However, the performance of a RAG system is not determined by a single component but emerges from a complex interplay of modular choices, such as embedding models and retrieval algorithms. This creates a vast and often opaque configuration space, making it challenging for developers to understand performance trade-offs and identify optimal designs. To address this challenge, we present RAGExplorer, a visual analytics system for the systematic comparison and diagnosis of RAG configurations. RAGExplorer guides users through a seamless macro-to-micro analytical workflow. Initially, it empowers developers to survey the performance landscape across numerous configurations, allowing for a high-level understanding of which design choices are most effective. For a deeper analysis, the system enables users to drill down into individual failure cases, investigate how differences in retrieved information contribute to errors, and interactively test hypotheses by manipulating the provided context to observe the resulting impact on the generated answer. We demonstrate the effectiveness of RAGExplorer through detailed case studies and user studies, validating its ability to empower developers in navigating the complex RAG design space. Our code and user guide are publicly available at https://github.com/Thymezzz/RAGExplorer.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG) の出現により、Large Language Models (LLM) が現実的に正確かつ最新の応答を生成する能力が大幅に向上した。
しかしながら、RAGシステムの性能は単一のコンポーネントによって決定されるのではなく、埋め込みモデルや検索アルゴリズムのようなモジュラー選択の複雑な相互作用から生じる。
これにより、大きくて不透明な構成空間が生まれるため、開発者はパフォーマンスのトレードオフを理解し、最適な設計を特定することが困難になる。
この課題に対処するために、RAG構成の系統的比較と診断のための視覚分析システムであるRAGExplorerを提案する。
RAGExplorerは、シームレスなマクロからマイクロまでの分析ワークフローを通じてユーザをガイドする。
最初は、開発者がさまざまな構成にわたるパフォーマンスの展望を調査できるようにし、どの設計選択が最も効果的であるかを高いレベルの理解を可能にします。
より深い分析のために、ユーザは個々の障害事例を掘り下げ、検索した情報の差がエラーにどのように寄与するかを調べ、得られたコンテキストを操作することで仮説をインタラクティブに検証し、結果が生成した回答に与える影響を観察することができる。
我々はRAGExplorerの有効性を,詳細なケーススタディとユーザスタディを通じて実証し,複雑なRAG設計空間をナビゲートする開発者を支援する能力を検証する。
私たちのコードとユーザガイドはhttps://github.com/Thymezzz/RAGExplorer.comで公開されています。
関連論文リスト
- MRAG-Suite: A Diagnostic Evaluation Platform for Visual Retrieval-Augmented Generation [1.9036571490366498]
多様なマルチモーダルベンチマークを統合する診断評価プラットフォームMRAG-Suiteを提案する。
本稿では,要求レベル診断ツールであるMM-RAGCheckerとともに,難易度と曖昧度を考慮したフィルタリング手法を提案する。
論文 参考訳(メタデータ) (2025-09-29T03:55:28Z) - Enhancing Retrieval-Augmented Generation: A Study of Best Practices [16.246719783032436]
我々は,クエリ拡張,新しい検索戦略,新しいコントラシティブ・インコンテクスト学習RAGを取り入れた高度なRAGシステム設計を開発する。
本研究は,言語モデルのサイズ,プロンプトデザイン,文書チャンクサイズ,知識ベースサイズ,検索ストライド,クエリ拡張手法,文レベルでのコンテキスト検索など,重要な要素を体系的に検討する。
本研究は,RAGシステムの開発に有効な知見を提供し,文脈的豊かさと検索・生成効率のバランスを図った。
論文 参考訳(メタデータ) (2025-01-13T15:07:55Z) - Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。
我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文 参考訳(メタデータ) (2024-12-16T19:11:55Z) - Multi-Source Knowledge Pruning for Retrieval-Augmented Generation: A Benchmark and Empirical Study [45.69867169347836]
Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)の幻覚を、外部知識の統合によって緩和するための効果的なアプローチである。
本稿では,多様な領域にまたがる構造化知識と非構造化知識を組み合わせたベンチマークデータセットを標準化する。
また,マルチグラニュラリティプルーニング戦略を主特徴とする,プラグアンドプレイのRAGフレームワークである textbfPruningRAG も開発している。
論文 参考訳(メタデータ) (2024-09-03T03:31:37Z) - RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。
RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。
RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
論文 参考訳(メタデータ) (2024-08-15T10:20:54Z) - RAGGED: Towards Informed Design of Scalable and Stable RAG Systems [51.171355532527365]
Retrieval-augmented Generation (RAG)は、外部知識を統合することで言語モデルを強化する。
RAGGEDは、RAGシステムを体系的に評価するためのフレームワークである。
論文 参考訳(メタデータ) (2024-03-14T02:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。