論文の概要: Finding Diamonds in Conversation Haystacks: A Benchmark for Conversational Data Retrieval

• arxiv url: http://arxiv.org/abs/2510.02938v1
• Date: Fri, 03 Oct 2025 12:29:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.376743
• Title: Finding Diamonds in Conversation Haystacks: A Benchmark for Conversational Data Retrieval
• Title（参考訳）: 会話ハイスタックにおけるダイヤモンドの発見:会話データ検索のためのベンチマーク
• Authors: Yohan Lee, Yongwoo Song, Sangyeop Kim,
• Abstract要約: 製品インサイトのための会話データを取得するシステムを評価するための,最初の総合的なテストセットであるConversational Data Retrieval(CDR)ベンチマークを提示する。 5つの分析タスクにわたる1.6kクエリと9.1kの会話により、我々のベンチマークは会話データ検索性能を測定するための信頼性の高い標準を提供する。
• 参考スコア（独自算出の注目度）: 5.620334754517148
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present the Conversational Data Retrieval (CDR) benchmark, the first comprehensive test set for evaluating systems that retrieve conversation data for product insights. With 1.6k queries across five analytical tasks and 9.1k conversations, our benchmark provides a reliable standard for measuring conversational data retrieval performance. Our evaluation of 16 popular embedding models shows that even the best models reach only around NDCG@10 of 0.51, revealing a substantial gap between document and conversational data retrieval capabilities. Our work identifies unique challenges in conversational data retrieval (implicit state recognition, turn dynamics, contextual references) while providing practical query templates and detailed error analysis across different task categories. The benchmark dataset and code are available at https://github.com/l-yohai/CDR-Benchmark.
• Abstract（参考訳）: 製品インサイトのための会話データを取得するシステムを評価するための,最初の総合的なテストセットであるConversational Data Retrieval(CDR)ベンチマークを提示する。 5つの分析タスクにわたる1.6kクエリと9.1kの会話により、我々のベンチマークは会話データ検索性能を測定するための信頼性の高い標準を提供する。 16の一般的な埋め込みモデルの評価では、最高のモデルでさえ0.51のNDCG@10程度にしか達せず、文書と会話データ検索機能の間に大きなギャップがあることが示されている。 我々の研究は,対話型データ検索(状態認識,ターンダイナミクス,コンテキスト参照)におけるユニークな課題を特定し,実用的なクエリテンプレートとタスクカテゴリ間の詳細なエラー解析を提供する。 ベンチマークデータセットとコードはhttps://github.com/l-yohai/CDR-Benchmarkで公開されている。

関連論文リスト

• Efficient Conversational Search via Topical Locality in Dense Retrieval [9.38751103209178]
  我々は、応答時間を改善するために、会話クエリに固有のトピックの局所性を利用する。 クエリの埋め込み類似性を活用することで,検索空間を意味的に関連するドキュメントクラスタに動的に制限する。 その結果,提案システムは複雑なマルチターンクエリを高い精度と効率で効果的に処理できることが示唆された。
  論文  参考訳（メタデータ） (2025-04-30T10:56:34Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries [48.243879779374836]
  LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。 従来は検索キーやクエリとして生の対話コンテキストを使用していた。 会話のテキスト要約に基づいて会話検索を行う。 LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
  論文  参考訳（メタデータ） (2024-02-20T14:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。