論文の概要: ProCIS: A Benchmark for Proactive Retrieval in Conversations

• arxiv url: http://arxiv.org/abs/2405.06460v1
• Date: Fri, 10 May 2024 13:11:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 00:58:55.532435
• Title: ProCIS: A Benchmark for Proactive Retrieval in Conversations
• Title（参考訳）: ProCIS: 会話における積極的に検索するためのベンチマーク
• Authors: Chris Samarinas, Hamed Zamani,
• Abstract要約: 本稿では,280万件以上の会話からなるプロアクティブな文書検索のための大規模データセットを提案する。 クラウドソーシング実験を行い、高品質で比較的完全な妥当性判定を行う。 また、各文書に関連する会話部分に関するアノテーションを収集し、前向きな検索システムの評価を可能にする。
• 参考スコア（独自算出の注目度）: 21.23826888841565
• License:
• Abstract: The field of conversational information seeking, which is rapidly gaining interest in both academia and industry, is changing how we interact with search engines through natural language interactions. Existing datasets and methods are mostly evaluating reactive conversational information seeking systems that solely provide response to every query from the user. We identify a gap in building and evaluating proactive conversational information seeking systems that can monitor a multi-party human conversation and proactively engage in the conversation at an opportune moment by retrieving useful resources and suggestions. In this paper, we introduce a large-scale dataset for proactive document retrieval that consists of over 2.8 million conversations. We conduct crowdsourcing experiments to obtain high-quality and relatively complete relevance judgments through depth-k pooling. We also collect annotations related to the parts of the conversation that are related to each document, enabling us to evaluate proactive retrieval systems. We introduce normalized proactive discounted cumulative gain (npDCG) for evaluating these systems, and further provide benchmark results for a wide range of models, including a novel model we developed for this task. We believe that the developed dataset, called ProCIS, paves the path towards developing proactive conversational information seeking systems.
• Abstract（参考訳）: 学術と産業の両方で急速に関心が高まりつつある会話情報検索の分野は、自然言語による対話を通じて、検索エンジンとの対話方法を変えつつある。 既存のデータセットとメソッドは主に、ユーザからのすべてのクエリに対する応答のみを提供する、リアクティブな会話情報検索システムの評価である。 我々は,多人数の人間の会話をモニタし,有用なリソースや提案を検索することで,会話に積極的に関与できる対話情報探索システムの構築と評価のギャップを同定する。 本稿では,280万件以上の会話からなるプロアクティブ文書検索のための大規模データセットを提案する。 クラウドソーシング実験を行い,Dep-kプーリングによる高品質で相対的に完全な妥当性判定を行う。 また,各文書に関連する会話部分に関するアノテーションを収集し,前向きな検索システムの評価を可能にする。 我々は,これらのシステムを評価するための正規化プロアクティブディスカウント累積ゲイン(npDCG)を導入し,また,本課題のために開発した新しいモデルを含む,幅広いモデルに対するベンチマーク結果を提供する。 ProCISと呼ばれるこの開発されたデータセットは、積極的に会話情報を求めるシステムを構築するための道のりを歩むと信じている。

関連論文リスト

• A Survey on Recent Advances in Conversational Data Generation [14.237954885530396]
  マルチターン対話型データ生成の体系的・包括的レビューを行う。 オープンドメイン,タスク指向,情報検索の3種類の対話システムに注目した。 合成会話データを評価するための評価指標と手法について検討する。
  論文  参考訳（メタデータ） (2024-05-12T10:11:12Z)
• History-Aware Conversational Dense Retrieval [31.203399110612388]
  本稿では,コンテキスト依存型クエリ再構成と監視信号の自動マイニングという2つのアイデアを取り入れた,履歴認識型会話用Dense Retrieval(HAConvDR)システムを提案する。 2つの公開対話型検索データセットの実験は、HAConvDRの履歴モデリング機能の改善を実証している。
  論文  参考訳（メタデータ） (2024-01-30T01:24:18Z)
• PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
  現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。 我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。 対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-19T08:27:09Z)
• FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
  複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。 会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-31T23:58:28Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• Evaluating Mixed-initiative Conversational Search Systems via User Simulation [9.066817876491053]
  このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。 Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
  論文  参考訳（メタデータ） (2022-04-17T16:27:33Z)
• Analysing Mixed Initiatives and Search Strategies during Conversational Search [31.63357369175702]
  本稿では,対話型検索のモデルを提案する。そこから観察された対話型検索戦略をインスタンス化し,エージェントが引き起こす: (i) フィードバックファースト, (ii) フィードバックアフタ。 分析の結果,質問結果の提示後に質問された場合,質問内容の明確化が良好であるのに対して,質問内容の明確化が良好であることが判明した。
  論文  参考訳（メタデータ） (2021-09-13T13:30:10Z)
• Open-Retrieval Conversational Question Answering [62.11228261293487]
  オープン検索型対話型質問応答 (ORConvQA) の設定を導入する。 ORConvQAのエンド・ツー・エンドシステムを構築し,レトリバー,リランカ,およびすべてトランスフォーマーをベースとしたリーダを特徴とする。
  論文  参考訳（メタデータ） (2020-05-22T19:39:50Z)
• Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting [56.268862325167575]
  マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。 本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。 前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。 後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
  論文  参考訳（メタデータ） (2020-05-05T14:30:20Z)
• Conversations with Search Engines: SERP-based Conversational Response Generation [77.1381159789032]
  我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。 また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。 CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
  論文  参考訳（メタデータ） (2020-04-29T13:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。