論文の概要: TREC CAsT 2019: The Conversational Assistance Track Overview
- arxiv url: http://arxiv.org/abs/2003.13624v1
- Date: Mon, 30 Mar 2020 16:58:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 06:58:28.394342
- Title: TREC CAsT 2019: The Conversational Assistance Track Overview
- Title（参考訳）: TREC CAsT 2019: The Conversational Assistance Track Overview
- Authors: Jeffrey Dalton, Chenyan Xiong, Jamie Callan
- Abstract要約: Conversational Assistance Track (CAsT) は、CIS(Conversational Information Seeking)研究を促進するためのTREC 2019の新しいトラックである。
ドキュメントコーパスは、TREC Complex Answer Retrieval (CAR)とMicrosoft MAchine Reading COmprehension (MARCO)データセットから38,426,252パスである。
今年は、対話型クエリ理解とランキングのための様々な方法を使用して、合計65のランを提出した。
- 参考スコア（独自算出の注目度）: 34.65827453762031
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Conversational Assistance Track (CAsT) is a new track for TREC 2019 to
facilitate Conversational Information Seeking (CIS) research and to create a
large-scale reusable test collection for conversational search systems. The
document corpus is 38,426,252 passages from the TREC Complex Answer Retrieval
(CAR) and Microsoft MAchine Reading COmprehension (MARCO) datasets. Eighty
information seeking dialogues (30 train, 50 test) are an average of 9 to 10
questions long. Relevance assessments are provided for 30 training topics and
20 test topics. This year 21 groups submitted a total of 65 runs using varying
methods for conversational query understanding and ranking. Methods include
traditional retrieval based methods, feature based learning-to-rank, neural
models, and knowledge enhanced methods. A common theme through the runs is the
use of BERT-based neural reranking methods. Leading methods also employed
document expansion, conversational query expansion, and generative language
models for conversational query rewriting (GPT-2). The results show a gap
between automatic systems and those using the manually resolved utterances,
with a 35% relative improvement of manual rewrites over the best automatic
system.
- Abstract（参考訳）: conversational assistance track(cast)はtrac 2019の新しいトラックであり、会話情報探索(cis)研究を促進し、会話検索システムのための大規模な再利用可能なテストコレクションを作成する。
ドキュメントコーパスはTREC Complex Answer Retrieval (CAR)とMicrosoft MAchine Reading COmprehension (MARCO)データセットから38,426,252パスである。
対話を求める80の情報(30の列車、50のテスト)は平均9から10の質問である。
関連性評価は30のトレーニングトピックと20のテストトピックに対して提供されている。
今年は、対話型クエリ理解とランキングのための様々な方法を使用して、合計65のランを提出した。
従来の検索ベース手法、特徴ベースの学習 to ランク、ニューラルモデル、知識強化手法などがある。
実行中の一般的なテーマは、BERTベースのニューラルリグレードメソッドの使用である。
また、文書拡張、会話クエリ拡張、会話クエリ書き換えのための生成言語モデル(GPT-2)も採用した。
その結果、自動システムと手作業で解決した発話システムとのギャップがみられ、最良の自動システムよりも手作業による書き直しが35%向上した。
関連論文リスト
- TREC iKAT 2023: A Test Collection for Evaluating Conversational and Interactive Knowledge Assistants [10.511277428023305]
TREC Interactive Knowledge Assistance Track (iKAT) コレクションは、研究者が会話検索エージェント(CSA)をテストおよび評価できるようにすることを目的としている。
このコレクションには、20のトピックにまたがる36のパーソナライズされた対話が含まれており、それぞれにパーソナライズされたユーザペルソナを定義するPersonal Text Knowledge Base (PTKB)が組み合わされている。
約26,000の通路を持つ344の旋回は、関連性の評価、および4つの重要な次元(妥当性、完全性、基底性、自然性)で生成された応答に関する追加評価として提供される。
論文 参考訳（メタデータ） (2024-05-04T11:22:16Z) - SSP: Self-Supervised Post-training for Conversational Search [63.28684982954115]
本稿では,対話型検索モデルを効率的に初期化するための3つの自己教師型タスクを備えた学習後パラダイムであるフルモデル(モデル)を提案する。
提案手法の有効性を検証するために,CAsT-19 と CAsT-20 の2つのベンチマークデータセットを用いて,会話検索タスクにモデルにより訓練後の会話エンコーダを適用した。
論文 参考訳（メタデータ） (2023-07-02T13:36:36Z) - Task-oriented Document-Grounded Dialog Systems by HLTPR@RWTH for DSTC9
and DSTC10 [40.05826687535019]
本稿では,第9回,第10回ダイアログシステム技術チャレンジにおけるダイアログタスクへのコントリビューションについて要約する。
両方のイテレーションにおいて、タスクは3つのサブタスクから構成される: 第一に、現在のターンが知識検索であるかどうかを検知し、第二に関連する知識文書を選択し、第三に、選択されたドキュメントに基づいて応答を生成する。
論文 参考訳（メタデータ） (2023-04-14T12:46:29Z) - End-to-end Spoken Conversational Question Answering: Task, Dataset and
Model [92.18621726802726]
音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。
本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。
本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
論文 参考訳（メタデータ） (2022-04-29T17:56:59Z) - Adapting Document-Grounded Dialog Systems to Spoken Conversations using
Data Augmentation and a Noisy Channel Model [46.93744191416991]
第10回ダイアログ・システム・テクノロジー・チャレンジ(DSTC10)第2章の報告を要約する。
このタスクは3つのサブタスクから構成される: ターンが知識を求めるかどうかを検知し、関連する知識文書を選択し、最後に接地された応答を生成する。
ベストシステムは,課題の人的評価において,第1位,第3位を達成できた。
論文 参考訳（メタデータ） (2021-12-16T12:51:52Z) - Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。
現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。
グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
論文 参考訳（メタデータ） (2021-10-15T14:36:45Z) - CAiRE in DialDoc21: Data Augmentation for Information-Seeking Dialogue
System [55.43871578056878]
DialDoc21コンペティションでは,サブタスク1で74.95 F1スコア,60.74 Exact Matchスコア,サブタスク2で37.72 SacreBLEUスコアを達成した。
論文 参考訳（メタデータ） (2021-06-07T11:40:55Z) - Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term
Importance Estimation and Neural Query Rewriting [56.268862325167575]
マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。
本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。
前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。
後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
論文 参考訳（メタデータ） (2020-05-05T14:30:20Z) - Topic Propagation in Conversational Search [0.0]
会話の文脈では、ユーザは、自然言語質問のシーケンスとして、多面的な情報を必要とすることを表現します。
筆者らは,2019 TREC Conversational Assistant Track (CAsT) フレームワークを用いて, (i) トピック認識発話の書き直し, (ii) 書き直された発話の候補節の検索, (iii) ニューラルネットワークによる候補節の再ランク付けを行う。
論文 参考訳（メタデータ） (2020-04-29T10:06:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。