論文の概要: POSSCORE: A Simple Yet Effective Evaluation of Conversational Search with Part of Speech Labelling

• arxiv url: http://arxiv.org/abs/2109.03039v1
• Date: Tue, 7 Sep 2021 12:31:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 14:50:04.493533
• Title: POSSCORE: A Simple Yet Effective Evaluation of Conversational Search with Part of Speech Labelling
• Title（参考訳）: POSSCORE:音声ラベリングによる会話検索の簡易かつ効果的な評価
• Authors: Zeyang Liu, Ke Zhou, Jiaxin Mao, Max L. Wilson
• Abstract要約: Google AssistantやMicrosoft Cortanaのような会話型検索システムは、ユーザーが自然言語対話を通じて検索システムとの通信を許可する新しい検索パラダイムを提供する。 本稿では,会話検索のための簡易かつ効果的な自動評価手法POSSCOREを提案する。 我々の指標は人間の嗜好と相関し、最先端の基準指標よりも大幅に改善できることが示される。
• 参考スコア（独自算出の注目度）: 25.477834359694473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conversational search systems, such as Google Assistant and Microsoft Cortana, provide a new search paradigm where users are allowed, via natural language dialogues, to communicate with search systems. Evaluating such systems is very challenging since search results are presented in the format of natural language sentences. Given the unlimited number of possible responses, collecting relevance assessments for all the possible responses is infeasible. In this paper, we propose POSSCORE, a simple yet effective automatic evaluation method for conversational search. The proposed embedding-based metric takes the influence of part of speech (POS) of the terms in the response into account. To the best knowledge, our work is the first to systematically demonstrate the importance of incorporating syntactic information, such as POS labels, for conversational search evaluation. Experimental results demonstrate that our metrics can correlate with human preference, achieving significant improvements over state-of-the-art baseline metrics.
• Abstract（参考訳）: Google AssistantやMicrosoft Cortanaのような会話型検索システムは、ユーザーが自然言語対話を通じて検索システムとの通信を許可する新しい検索パラダイムを提供する。 検索結果が自然言語文の形式で提示されるので,このようなシステムの評価は非常に難しい。 可能なレスポンスの無制限数を考えると、可能なすべてのレスポンスに対する関連性評価の収集は不可能である。 本稿では,会話検索のための簡易かつ効果的な自動評価手法POSSCOREを提案する。 提案する埋め込みベースメトリクスは、応答中の用語の一部(pos)の影響を考慮に入れている。 本研究は,対話型検索評価において,POSラベルなどの統語的情報を活用することの重要性を初めて体系的に示すものである。 実験の結果,人間の好みと相関する指標が得られ,最先端のベースライン指標よりも大幅な改善が得られた。

関連論文リスト

• ProCIS: A Benchmark for Proactive Retrieval in Conversations [21.23826888841565]
  本稿では,280万件以上の会話からなるプロアクティブな文書検索のための大規模データセットを提案する。 クラウドソーシング実験を行い、高品質で比較的完全な妥当性判定を行う。 また、各文書に関連する会話部分に関するアノテーションを収集し、前向きな検索システムの評価を可能にする。
  論文  参考訳（メタデータ） (2024-05-10T13:11:07Z)
• Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries [48.243879779374836]
  LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。 従来は検索キーやクエリとして生の対話コンテキストを使用していた。 会話のテキスト要約に基づいて会話検索を行う。 LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
  論文  参考訳（メタデータ） (2024-02-20T14:31:17Z)
• FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
  複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。 会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-31T23:58:28Z)
• Improve Retrieval-based Dialogue System via Syntax-Informed Attention [46.79601705850277]
  文内構文情報と文間構文情報の両方を考慮したSIA, Syntax-Informed Attentionを提案する。 提案手法を広範に使用した3つのベンチマークで評価し,対話応答選択における本手法の一般的な優位性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-03-12T08:14:16Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• Meta-evaluation of Conversational Search Evaluation Metrics [15.942419892035124]
  我々は様々な会話検索指標を体系的にメタ評価する。 METEORは、すべての3つの視点を考慮して、最も優れた既存のシングルターンメトリックです。 また、適応セッションベースの評価指標を使用して、マルチターン会話検索を測定することも示します。
  論文  参考訳（メタデータ） (2021-04-27T20:01:03Z)
• Detecting and Classifying Malevolent Dialogue Responses: Taxonomy, Data and Methodology [68.8836704199096]
  コーパスベースの会話インタフェースは、テンプレートベースのエージェントや検索ベースのエージェントよりも多様な自然なレスポンスを生成することができる。 コーパスベースの会話エージェントの生成能力が増大すると、マレヴォレントな反応を分類し、フィルタリングする必要性が生じる。 不適切な内容の認識と分類に関するこれまでの研究は、主にある種のマレヴォレンスに焦点を絞っている。
  論文  参考訳（メタデータ） (2020-08-21T22:43:27Z)
• Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting [56.268862325167575]
  マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。 本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。 前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。 後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
  論文  参考訳（メタデータ） (2020-05-05T14:30:20Z)
• Topic Propagation in Conversational Search [0.0]
  会話の文脈では、ユーザは、自然言語質問のシーケンスとして、多面的な情報を必要とすることを表現します。 筆者らは,2019 TREC Conversational Assistant Track (CAsT) フレームワークを用いて, (i) トピック認識発話の書き直し, (ii) 書き直された発話の候補節の検索, (iii) ニューラルネットワークによる候補節の再ランク付けを行う。
  論文  参考訳（メタデータ） (2020-04-29T10:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。