Fugu-MT 論文翻訳(概要): MTRAG: A Multi-Turn Conversational Benchmark for Evaluating Retrieval-Augmented Generation Systems

論文の概要: MTRAG: A Multi-Turn Conversational Benchmark for Evaluating Retrieval-Augmented Generation Systems

arxiv url: http://arxiv.org/abs/2501.03468v1
Date: Tue, 07 Jan 2025 01:52:56 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-08 15:50:44.284450
Title: MTRAG: A Multi-Turn Conversational Benchmark for Evaluating Retrieval-Augmented Generation Systems
Title（参考訳）: MTRAG: 検索拡張生成システム評価のためのマルチターン対話ベンチマーク
Authors: Yannis Katsis, Sara Rosenthal, Kshitij Fadnis, Chulaka Gunasekara, Young-Suk Lee, Lucian Popa, Vraj Shah, Huaiyu Zhu, Danish Contractor, Marina Danilevsky,
Abstract要約: MTRAG: エンドツーエンドのヒューマン生成マルチターンRAGベンチマークを提案する。完全なRAGパイプラインを評価するために、さまざまな次元にまたがる現実世界のいくつかの特性を反映している。我々の評価では、最先端のLLM RAGシステムでさえMTRAGに苦戦している。
参考スコア（独自算出の注目度）: 21.554151870748104
License:
Abstract: Retrieval-augmented generation (RAG) has recently become a very popular task for Large Language Models (LLMs). Evaluating them on multi-turn RAG conversations, where the system is asked to generate a response to a question in the context of a preceding conversation is an important and often overlooked task with several additional challenges. We present MTRAG: an end-to-end human-generated multi-turn RAG benchmark that reflects several real-world properties across diverse dimensions for evaluating the full RAG pipeline. MTRAG contains 110 conversations averaging 7.7 turns each across four domains for a total of 842 tasks. We also explore automation paths via synthetic data and LLM-as-a-Judge evaluation. Our human and automatic evaluations show that even state-of-the-art LLM RAG systems struggle on MTRAG. We demonstrate the need for strong retrieval and generation systems that can handle later turns, unanswerable questions, non-standalone questions, and multiple domains. MTRAG is available at https://github.com/ibm/mt-rag-benchmark.
Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、最近、Large Language Models (LLMs) の非常に人気のあるタスクとなっている。マルチターンRAG会話において、先行する会話の文脈で質問に対する応答を生成するようシステムが要求される場合、これらを評価することは重要であり、いくつかの課題を伴う見過ごされがちなタスクである。 MTRAG: 完全なRAGパイプラインを評価するために,様々な次元にわたる実世界の特性を反映した,エンド・ツー・エンドのマルチターンRAGベンチマークを提案する。 MTRAGには、平均で7.7ターンの会話が4つのドメインで行われ、合計842のタスクがある。また、合成データとLCM-as-a-Judge評価による自動化経路についても検討する。我々の人間と自動評価は、最先端のLLM RAGシステムでさえMTRAGに苦戦していることを示している。我々は、後続のターンや解決不可能な質問、スタンドアローンでない質問、複数のドメインを扱える強力な検索と生成システムの必要性を実証する。 MTRAGはhttps://github.com/ibm/mt-rag-benchmarkで入手できる。

関連論文リスト

QuIM-RAG: Advancing Retrieval-Augmented Generation with Inverted Question Matching for Enhanced QA Performance [1.433758865948252]
本研究では,RAG(Retrieval-Augmented Generation)システム構築のための新しいアーキテクチャを提案する。 RAGアーキテクチャは、ターゲット文書から応答を生成するために構築される。本稿では,本システムにおける検索機構の新しいアプローチQuIM-RAGを紹介する。
論文参考訳（メタデータ） (2025-01-06T01:07:59Z)
mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。 mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
論文参考訳（メタデータ） (2024-11-22T16:15:50Z)
Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [102.31558123570437]
マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
論文参考訳（メタデータ） (2024-11-05T09:27:21Z)
MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs [78.5013630951288]
本稿では,マルチモーダル大言語モデル(MLLM)を用いた情報検索手法を提案する。まず,16個の検索タスクを持つ10個のデータセットに対して,MLLMをバイエンコーダレトリバーとして微調整する。我々は,MLLMレトリバーが提示するモダリティバイアスを軽減するために,モダリティを考慮したハードネガティブマイニングを提案する。
論文参考訳（メタデータ） (2024-11-04T20:06:34Z)
ScopeQA: A Framework for Generating Out-of-Scope Questions for RAG [52.33835101586687]
会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。本稿では,多様な境界線外質問を効率よく生成する,ガイド付き幻覚に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2024-10-18T16:11:29Z)
Self-adaptive Multimodal Retrieval-Augmented Generation [0.0]
我々は,自己適応型マルチモーダル検索型生成(SAM-RAG)という新しい手法を提案する。 SAM-RAGは、必要なときに画像キャプションを含む入力クエリに基づいて関連文書を動的にフィルタリングするだけでなく、検索した文書と出力の両方の品質を検証する。その結果,SAM-RAGは検索精度と応答生成の両面で既存の最先端手法を上回ることがわかった。
論文参考訳（メタデータ） (2024-10-15T06:39:35Z)
Toward General Instruction-Following Alignment for Retrieval-Augmented Generation [63.611024451010316]
Retrieval-Augmented Generation (RAG) システムの効果的な適用には、自然な指示に従うことが不可欠である。 RAGシステムにおける命令追従アライメントのための,最初の自動化,拡張性,検証可能な合成パイプラインであるVIF-RAGを提案する。
論文参考訳（メタデータ） (2024-10-12T16:30:51Z)
Learning When to Retrieve, What to Rewrite, and How to Respond in Conversational QA [16.1357049130957]
シングルターンSELF-RAGフレームワークを構築し,会話設定のためのSELF-multi-RAGを提案する。 SELF-multi-RAGは、関連するパスの検索に関して、シングルターン変種よりも改善された機能を示す。
論文参考訳（メタデータ） (2024-09-23T20:05:12Z)
EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.64500643247252]
マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
論文参考訳（メタデータ） (2024-08-08T06:57:49Z)
BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
論文参考訳（メタデータ） (2024-07-01T09:09:27Z)
Multi-Head RAG: Solving Multi-Aspect Problems with LLMs [13.638439488923671]
検索拡張生成(RAG)は大規模言語モデル(LLM)の能力を向上させる既存のRAGソリューションは、実質的に異なる内容の複数のドキュメントを取得する必要がある可能性のあるクエリに焦点を当てていない。本稿では,このギャップをシンプルかつ強力なアイデアで解決する新しい手法として,MRAG(Multi-Head RAG)を提案する。
論文参考訳（メタデータ） (2024-06-07T16:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。