論文の概要: INSCIT: Information-Seeking Conversations with Mixed-Initiative
Interactions
- arxiv url: http://arxiv.org/abs/2207.00746v1
- Date: Sat, 2 Jul 2022 06:18:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 13:53:54.133962
- Title: INSCIT: Information-Seeking Conversations with Mixed-Initiative
Interactions
- Title(参考訳): INSCIT:混合開始対話による情報探索会話
- Authors: Zeqiu Wu, Ryu Parish, Hao Cheng, Sewon Min, Prithviraj Ammanabrolu,
Mari Ostendorf, Hannaneh Hajishirzi
- Abstract要約: 混合開始型対話を用いた情報検索のためのデータセットであるINSCIT(Insight)を提案する。
これは、エージェントがウィキペディアを検索する人間と人間の会話から、合計4.7Kのユーザー・エージェント・ターンを含んでいる。
対話型知識認識とオープンドメイン質問応答の最先端モデルに基づく2つの強力なベースラインの結果を報告する。
- 参考スコア(独自算出の注目度): 47.90088587508672
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In an information-seeking conversation, a user converses with an agent to ask
a series of questions that can often be under- or over-specified. An ideal
agent would first identify that they were in such a situation by searching
through their underlying knowledge source and then appropriately interacting
with a user to resolve it. However, most existing studies either fail to or
artificially incorporate such agent-side initiatives. In this work, we present
INSCIT (pronounced Insight), a dataset for information-seeking conversations
with mixed-initiative interactions. It contains a total of 4.7K user-agent
turns from 805 human-human conversations where the agent searches over
Wikipedia and either asks for clarification or provides relevant information to
address user queries. We define two subtasks, namely evidence passage
identification and response generation, as well as a new human evaluation
protocol to assess the model performance. We report results of two strong
baselines based on state-of-the-art models of conversational knowledge
identification and open-domain question answering. Both models significantly
underperform humans and fail to generate coherent and informative responses,
suggesting ample room for improvement in future studies.
- Abstract(参考訳): 情報探索会話では、ユーザーはエージェントと会話して、しばしば過度に特定される可能性のある一連の質問を行う。
理想的なエージェントは、まず基礎となる知識ソースを探索し、それを解決するためにユーザーと適切に対話することで、そのような状況にあることを識別する。
しかし、既存の研究のほとんどは、そのようなエージェントサイドのイニシアチブを失敗または人工的に取り入れている。
本研究では,複合開始型対話を用いた情報検索のためのデータセットであるINSCIT(Insight)を提案する。
合計4.7Kのユーザーエージェント・ターンは、エージェントがウィキペディアを検索し、明確化を求めるか、ユーザークエリに対処するための関連情報を提供する805人の人間と人間の会話から来ている。
我々は,エビデンスパス識別と応答生成という2つのサブタスクと,モデル性能を評価するための新しいヒューマン評価プロトコルを定義する。
対話型知識認識とオープンドメイン質問応答の最先端モデルに基づく2つの強力なベースラインの結果を報告する。
どちらのモデルも、人間を著しく弱め、コヒーレントで情報的な反応を生じさせず、将来の研究で改善の余地が十分にあることを示唆している。
関連論文リスト
- Personalized Topic Selection Model for Topic-Grounded Dialogue [24.74527189182273]
現在のモデルは、ユーザに興味がなく、文脈的に無関係なトピックを予測する傾向があります。
我々はtextbfTopic-grounded textbfDialogue のための textbfPersonalized topic stextbfElection model を提案する。
提案手法は,多種多様な応答を生成でき,最先端のベースラインを達成できる。
論文 参考訳(メタデータ) (2024-06-04T06:09:49Z) - ProCIS: A Benchmark for Proactive Retrieval in Conversations [21.23826888841565]
本稿では,280万件以上の会話からなるプロアクティブな文書検索のための大規模データセットを提案する。
クラウドソーシング実験を行い、高品質で比較的完全な妥当性判定を行う。
また、各文書に関連する会話部分に関するアノテーションを収集し、前向きな検索システムの評価を可能にする。
論文 参考訳(メタデータ) (2024-05-10T13:11:07Z) - R2H: Building Multimodal Navigation Helpers that Respond to Help
Requests [30.695642371684663]
まず、マルチモーダルナビゲーションヘルパーの開発を促進するために、新しいベンチマークであるRespond to Help Requests (R2H)を導入する。
R2Hは主に2つのタスクを含む:(1)対話履歴(RDH)、(2)対話履歴に基づいて情報応答を生成するヘルパーエージェントの能力を評価する、(2)対話中の応答(RdI)、(2)タスクパフォーマーとの一貫性のある協調における応答の有効性と効率を評価する。
論文 参考訳(メタデータ) (2023-05-23T17:12:09Z) - End-to-end Spoken Conversational Question Answering: Task, Dataset and
Model [92.18621726802726]
音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。
本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。
本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
論文 参考訳(メタデータ) (2022-04-29T17:56:59Z) - Evaluating Mixed-initiative Conversational Search Systems via User
Simulation [9.066817876491053]
このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。
Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
論文 参考訳(メタデータ) (2022-04-17T16:27:33Z) - Partner Matters! An Empirical Study on Fusing Personas for Personalized
Response Selection in Retrieval-Based Chatbots [51.091235903442715]
本稿では,自己とパートナーの話者が応答選択の課題に与える影響について検討する。
4つのペルソナ融合戦略が設計されており、異なる方法でペルソナがコンテキストや応答と相互作用することを前提としている。
Persona-Chatデータセットに関する実証研究は、パートナーペルソナが応答選択の精度を向上させることができることを示している。
論文 参考訳(メタデータ) (2021-05-19T10:32:30Z) - Towards Data Distillation for End-to-end Spoken Conversational Question
Answering [65.124088336738]
音声対話型質問応答タスク(SCQA)を提案する。
SCQAは,音声発話とテキストコーパスから複雑な対話の流れをモデル化することを目的としている。
我々の主な目的は、音声とテキストの両方で会話的な質問に対処するQAシステムを構築することである。
論文 参考訳(メタデータ) (2020-10-18T05:53:39Z) - Conversations with Search Engines: SERP-based Conversational Response
Generation [77.1381159789032]
我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。
また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。
CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
論文 参考訳(メタデータ) (2020-04-29T13:07:53Z) - IART: Intent-aware Response Ranking with Transformers in
Information-seeking Conversation Systems [80.0781718687327]
我々は、情報探索会話におけるユーザ意図パターンを分析し、意図認識型ニューラルレスポンスランキングモデル「IART」を提案する。
IARTは、ユーザ意図モデリングと言語表現学習とTransformerアーキテクチャの統合の上に構築されている。
論文 参考訳(メタデータ) (2020-02-03T05:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。