論文の概要: RAG-DIVE: A Dynamic Approach for Multi-Turn Dialogue Evaluation in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2604.16310v1
• Date: Fri, 30 Jan 2026 15:32:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:13.869913
• Title: RAG-DIVE: A Dynamic Approach for Multi-Turn Dialogue Evaluation in Retrieval-Augmented Generation
• Title（参考訳）: RAG-DIVE:Retrieval-Augmented GenerationにおけるマルチTurnダイアログ評価のための動的アプローチ
• Authors: Lorenz Brehme, Benedikt Dornauer, Jan-Henrik Böttcher, Klaus Schmid, Mircea-Cristian Racasan, Ruth Breu,
• Abstract要約: RAG-DIVE(Dynamic Interactive Validation and Evaluation approach)を紹介する。 RAG-DIVEはマルチターン設定でRAGシステムとのユーザインタラクションをシミュレートする。 以上の結果から,RAG-DIVEは対話型対話の動的・対話型評価を促進することが示唆された。
• 参考スコア（独自算出の注目度）: 0.7594105478663188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating Retrieval-Augmented Generation (RAG) systems using static multi-turn datasets fails to capture the dynamic nature of real-world dialogues. Existing evaluation methods rely on predefined datasets, which restrict them to static, one-directional queries and limit their ability to capture the adaptive, context-dependent performance of RAG systems in interactive, multi-turn settings. Thus, we introduce the RAG-DIVE, a Dynamic Interactive Validation and Evaluation approach, that simulates user interactions with RAG systems. RAG-DIVE leverages an LLM to generate multi-turn conversations dynamically and is organized into three components. The dialogue generation stage consists of the (1) Conversation Generator, which simulates a user by creating multi-turn queries, and the (2) Conversation Validator, which filters and corrects invalid or low-quality outputs to ensure coherent conversations. The evaluation stage is handled by the (3) Conversation Evaluator, which assesses the RAG system's performance across the entire dialogue and generates both per-turn and multi-turn metrics that provide an aggregated view of system behavior. We validated RAG-DIVE through two experimental setups. First, we tested a sample RAG system, including human evaluation of dialogue quality, repeated trials to assess consistency, and an ablation study showing that RAG-DIVE detects performance changes caused by system modifications. Second, we compared RAG-DIVE with a traditional static dataset evaluation on an industrial RAG system under different configurations to verify whether both approaches reveal similar performance trends. Our findings demonstrate that RAG-DIVE facilitates dynamic, interaction-driven evaluation for multi-turn conversations, thereby advancing the assessment of RAG systems.
• Abstract（参考訳）: 静的なマルチターンデータセットを用いた検索-拡張生成(RAG)システムの評価は、実世界の対話の動的な性質を捉えるのに失敗する。 既存の評価手法は事前に定義されたデータセットに依存しており、静的な一方向クエリに制限され、対話的なマルチターン設定でRAGシステムの適応的でコンテキストに依存したパフォーマンスをキャプチャする能力を制限する。 そこで本稿では,RAGシステムとのユーザインタラクションをシミュレートする動的インタラクティブ検証・評価手法であるRAG-DIVEを紹介する。 RAG-DIVEはLLMを利用して動的にマルチターン会話を生成し、3つのコンポーネントに編成する。 対話生成段階は,(1)マルチターンクエリを作成することでユーザをシミュレートする会話生成器と,(2)不正あるいは低品質な出力をフィルタし,訂正する会話検証器とから構成される。 評価段階は (3) Conversation Evaluator によって処理され,RAG システムの性能を対話全体にわたって評価し,システム動作の集約ビューを提供するターン単位とマルチターン単位の両方のメトリクスを生成する。 RAG-DIVEを2つの実験装置で検証した。 まず,人間による対話品質の評価,整合性評価のための繰り返し試行,およびRAG-DIVEがシステム修正による性能変化を検出することを示すアブレーション実験など,サンプルRAGシステムの試験を行った。 第2に、RAG-DIVEと産業RAGシステムにおける従来の静的データセット評価を異なる構成で比較し、両者が同様の性能傾向を示すかどうかを検証した。 以上の結果から,RAG-DIVEはマルチターン会話の動的・対話型評価を促進することが示唆され,RAGシステムの評価が向上することが示唆された。

関連論文リスト

• Evaluating Multi-Hop Reasoning in RAG Systems: A Comparison of LLM-Based Retriever Evaluation Strategies [0.5352699766206808]
  本研究の目的は、RAGシステムにおいてマルチホップ推論がいかに効果的に評価できるかをよりよく理解することである。 OpenAI、Meta、GoogleのLLMによる実験は、CAREがRAGシステムにおけるマルチホップ推論を評価する既存の手法を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-04-20T13:20:57Z)
• Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition [52.63676763985825]
  トークンレベルの精度を超えた認識品質を評価するための意味認識評価指標を提案する。 我々は,人間のようなマルチターンインタラクションをシミュレートするエージェント・フレームワークを設計し,認識出力の反復的改善を可能にする。 対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
  論文  参考訳（メタデータ） (2026-04-10T09:02:42Z)
• Comprehensive Comparison of RAG Methods Across Multi-Domain Conversational QA [18.46710400838861]
  本稿では,マルチターン対話型QAにおけるRAG手法の体系的比較の欠如に対処する。 本研究では,8種類の対話型QAデータセットを対象とした,バニラ法と高度なRAG法に関する総合的研究を行った。 以上の結果から,再ランク付けやハイブリッドBM25,HyDEなどの頑健で簡便な手法がバニラRAGより一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-02-10T08:59:23Z)
• Conversational Intent-Driven GraphRAG: Enhancing Multi-Turn Dialogue Systems through Adaptive Dual-Retrieval of Flow Patterns and Context Semantics [8.532295745134459]
  CID-GraphRAG (対話型インテント駆動グラフ検索生成) 本稿では,マルチターン顧客サービス会話におけるコンテキストコヒーレンスと目標指向の進展を維持する上で,既存の対話システムの限界に対処する新しいフレームワークを提案する。 CID-GraphRAGは、ゴール達成された過去の対話から動的意図遷移グラフを構築し、インテントベースのグラフとセマンティックサーチを適応的にバランスさせる二重検索機構を実装している。
  論文  参考訳（メタデータ） (2025-06-24T07:20:45Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems [43.266153244137215]
  大規模言語モデル(LLM)は多くの自然言語理解および生成タスクにおいて例外的な機能を示している。 我々は、パーソナライズされた応答を3つのサブタスク(知識ソース選択、知識検索、応答生成)に分解する。 統一多ソース検索拡張生成システム(UniMS-RAG)を提案する。
  論文  参考訳（メタデータ） (2024-01-24T06:50:20Z)
• JoTR: A Joint Transformer and Reinforcement Learning Framework for Dialog Policy Learning [53.83063435640911]
  対話政策学習(DPL)は対話モデリングの重要な構成要素である。 フレキシブルな対話行動を生成するための新しいフレームワークであるJoTRを導入する。 従来の方法とは異なり、JoTRはよりダイナミックで適応可能な対話アクション生成を可能にするワードレベルのポリシーを定式化している。
  論文  参考訳（メタデータ） (2023-09-01T03:19:53Z)
• Is MultiWOZ a Solved Task? An Interactive TOD Evaluation Framework with User Simulator [37.590563896382456]
  タスク指向対話(TOD)システムのための対話型評価フレームワークを提案する。 まず,事前学習したモデルに基づいて目標指向のユーザシミュレータを構築し,ユーザシミュレータを用いて対話システムと対話して対話を生成する。 実験の結果,提案したユーザシミュレータによりトレーニングされたRLベースのTODシステムは,約98%のインフォメーションと成功率を達成することができた。
  論文  参考訳（メタデータ） (2022-10-26T07:41:32Z)
• Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation [114.48767388174218]
  本稿では,異なる設定の異なるモジュールから構成される異なるダイアログシステムについて,実験的検討を行った。 この結果から, 粗粒度ラベルで学習した連系や終端モデルを用いたシステムよりも, 細粒度監視信号を用いて訓練したパイプラインダイアログシステムの方が, 高い性能が得られることが示唆された。
  論文  参考訳（メタデータ） (2020-05-15T05:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。