論文の概要: MTR-Suite: A Framework for Evaluating and Synthesizing Conversational Retrieval Benchmarks
- arxiv url: http://arxiv.org/abs/2605.20729v1
- Date: Wed, 20 May 2026 05:26:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.494894
- Title: MTR-Suite: A Framework for Evaluating and Synthesizing Conversational Retrieval Benchmarks
- Title（参考訳）: MTR-Suite: 会話検索ベンチマークの評価と合成のためのフレームワーク
- Abstract要約: MTR-Suiteは、監査、合成、ベンチマーク検索のための統合されたフレームワークである。
1)従来のベンチマークでアライメントギャップを定量化するためのLCMベースの監査装置であるMTR-Eval,(2)グリーディクラスタリングを用いたマルチエージェントシステムであるMTR-Pipeline,(3)厳格な一般ベンチマークであるMTR-Benchなどが特徴である。
- 参考スコア（独自算出の注目度）: 68.78064578688809
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Accurate evaluation of conversational retrieval is pivotal for advancing Retrieval-Augmented Generation (RAG) systems. However, existing conversational retrieval benchmarks suffer from costly, sparse human annotation or rigid, unnatural automated heuristics. To address these challenges, we introduce MTR-Suite, a unified framework for auditing, synthesizing, and benchmarking retrieval. It features: (1) MTR-Eval, an LLM-based auditor quantifying alignment gaps in previous benchmarks; (2) MTR-Pipeline, a multi-agent system using greedy traversal clustering to generate high-fidelity dialogues at 1/400th human cost; and (3) MTR-Bench, a rigorous general-domain benchmark. MTR-Bench mimics production-style challenges (hard topic switching, verbosity), offering superior discriminative power. We make our code and data publicly available to facilitate future research at https://github.com/rangehow/mtr-suite.
- Abstract（参考訳）: RAG(Retrieval-Augmented Generation)システムにおいて,会話検索の正確な評価が重要である。
しかし、既存の対話型検索ベンチマークは、費用がかかる、まばらな人間のアノテーションや、厳格で非自然的な自動ヒューリスティックに悩まされている。
これらの課題に対処するため、我々は監査、合成、ベンチマーク検索のための統合されたフレームワークであるMTR-Suiteを紹介した。
1)従来のベンチマークでアライメントギャップを定量化するためのLCMベースの監査装置であるMTR-Eval,(2)グレディ・トラバーサル・クラスタリングを用いたマルチエージェントシステムであるMTR-Pipeline,(3)厳格な汎用ドメイン・ベンチマークであるMTR-Benchなどが特徴である。
MTR-Benchは、生産スタイルの課題(ハードトピックスイッチング、冗長性)を模倣し、優れた差別力を提供します。
コードとデータを公開して、https://github.com/rangehow/mtr-suite.comで将来の研究を促進する。
関連論文リスト
- MCompassRAG: Topic Metadata as a Semantic Compass for Paragraph-Level Retrieval [23.917976178986137]
MRAGはメタデータ誘導検索フレームワークであり、関連する証拠を選択するための意味コンパスとしてトピックレベルの信号を使用する。
6つのベンチマークで、MRAGは情報効率(IE)を平均8.24%改善し、最も効率的なRAGベースラインの5倍以上のレイテンシを持つ。
論文 参考訳（メタデータ） (2026-06-16T21:50:01Z) - Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。
複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
論文 参考訳（メタデータ） (2026-05-28T06:23:31Z) - PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。
textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
論文 参考訳（メタデータ） (2026-03-30T23:52:54Z) - Evaluating Retrieval-Augmented Generation Systems on Unanswerable, Uncheatable, Realistic, Multi-hop Queries [53.99620546358492]
実世界のユースケースでは、複雑なクエリを持つRAGシステムが存在し、関連する情報がコーパスから欠落したり、不完全であったりすることが多い。
既存のRAGベンチマークは、マルチホップやスコープ外の質問に対して、現実的なタスクの複雑さを反映することはめったにない。
un$underlinec$heatable, $underliner$ealistic, $underlineu$nanswerable, $underlinem$ulti-hopの自動生成のための最初のパイプラインを提示する。
論文 参考訳（メタデータ） (2025-10-13T21:38:04Z) - MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval [86.35779264575154]
マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。
マルチモーダル検索のための推論集約型ベンチマークであるMR$2$-Benchを紹介する。
論文 参考訳（メタデータ） (2025-09-30T15:09:14Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - PRGB Benchmark: A Robust Placeholder-Assisted Algorithm for Benchmarking Retrieval-Augmented Generation [15.230902967865925]
Retrieval-Augmented Generation (RAG)は、外部知識を統合することで、大規模言語モデル(LLM)を強化する。
現在のベンチマークでは、ノイズの堅牢性などの幅広い側面を強調しているが、文書利用に関する体系的できめ細かい評価フレームワークは欠如している。
我々のベンチマークは、より信頼性が高く効率的なRAGシステムを開発するための再現可能なフレームワークを提供する。
論文 参考訳（メタデータ） (2025-07-23T16:14:08Z) - Shifting from Ranking to Set Selection for Retrieval Augmented Generation [16.374737228461125]
Retrieval-Augmented Generationの検索は、検索されたパスが個々の関連性だけでなく、集合的に包括的な集合を形成することを保証する必要がある。
提案手法はSETRを導入し,Chain-of-Thought推論によるクエリの情報要求を明確に識別する。
マルチホップRAGベンチマークの実験では、SETRはLLMベースのリランカーとオープンソースのベースラインの両方を、回答の正しさと検索品質で上回っている。
論文 参考訳（メタデータ） (2025-07-09T13:35:36Z) - MTRAG: A Multi-Turn Conversational Benchmark for Evaluating Retrieval-Augmented Generation Systems [21.554151870748104]
MTRAG: エンドツーエンドのヒューマン生成マルチターンRAGベンチマークを提案する。
完全なRAGパイプラインを評価するために、さまざまな次元にまたがる現実世界のいくつかの特性を反映している。
我々の評価では、最先端のLLM RAGシステムでさえMTRAGに苦戦している。
論文 参考訳（メタデータ） (2025-01-07T01:52:56Z) - IRSC: A Zero-shot Evaluation Benchmark for Information Retrieval through Semantic Comprehension in Retrieval-Augmented Generation Scenarios [14.336896748878921]
本稿では,多言語RAGタスクにおける埋め込みモデルの性能評価のためのIRSCベンチマークを提案する。
このベンチマークには、クエリ検索、タイトル検索、パラグラフ検索、キーワード検索、要約検索の5つのタスクが含まれている。
1)IRSCベンチマーク,2)SSCIとRCCIメトリクス,3)埋め込みモデルの言語間制限に関する洞察などです。
論文 参考訳（メタデータ） (2024-09-24T05:39:53Z) - ACCORD: Closing the Commonsense Measurability Gap [16.572584339052753]
ACCORDは、大規模言語モデル(LLM)の共通理解基盤と推論能力の分離のためのフレームワークである
形式的要素をコモンセンス推論に導入し、典型的な 1 または 2 ホップを超えて、推論の複雑さを明示的に制御し、定量化する。
任意の推論複雑性のベンチマークを自動的に生成するので、将来のLLMの改善に合わせてスケールすることができる。
論文 参考訳（メタデータ） (2024-06-04T22:08:24Z) - STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。
本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。
多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
論文 参考訳（メタデータ） (2024-04-19T22:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。