論文の概要: Using LLMs to Investigate Correlations of Conversational Follow-up Queries with User Satisfaction
- arxiv url: http://arxiv.org/abs/2407.13166v1
- Date: Thu, 18 Jul 2024 05:10:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 19:46:03.213906
- Title: Using LLMs to Investigate Correlations of Conversational Follow-up Queries with User Satisfaction
- Title(参考訳): LLMを用いた対話型フォローアップクエリとユーザ満足度との相関性の検討
- Authors: Hyunwoo Kim, Yoonseo Choi, Taehyun Yang, Honggu Lee, Chaneon Park, Yongju Lee, Jin Young Kim, Juho Kim,
- Abstract要約: そこで本稿では,会話検索エンジンNaver Cueから18人のユーザのフォローアップクエリパターンの分類法を提案する。
クエリ修正に関する既存の文献と比較して、フォローアップクエリの背後にある新たなモチベーションとアクションが明らかになった。
最初の結果から,Clarifying Queries, Excluding Condition, Substitutioning Condition with follow-up queryなど,いくつかの不満のシグナルが示唆された。
- 参考スコア(独自算出の注目度): 32.32365329050603
- License:
- Abstract: With large language models (LLMs), conversational search engines shift how users retrieve information from the web by enabling natural conversations to express their search intents over multiple turns. Users' natural conversation embodies rich but implicit signals of users' search intents and evaluation of search results to understand user experience with the system. However, it is underexplored how and why users ask follow-up queries to continue conversations with conversational search engines and how the follow-up queries signal users' satisfaction. From qualitative analysis of 250 conversational turns from an in-lab user evaluation of Naver Cue:, a commercial conversational search engine, we propose a taxonomy of 18 users' follow-up query patterns from conversational search, comprising two major axes: (1) users' motivations behind continuing conversations (N = 7) and (2) actions of follow-up queries (N = 11). Compared to the existing literature on query reformulations, we uncovered a new set of motivations and actions behind follow-up queries, including asking for subjective opinions or providing natural language feedback on the engine's responses. To analyze conversational search logs with our taxonomy in a scalable and efficient manner, we built an LLM-powered classifier (73% accuracy). With our classifier, we analyzed 2,061 conversational tuples collected from real-world usage logs of Cue: and examined how the conversation patterns from our taxonomy correlates with satisfaction. Our initial findings suggest some signals of dissatisfactions, such as Clarifying Queries, Excluding Condition, and Substituting Condition with follow-up queries. We envision our approach could contribute to automated evaluation of conversation search experience by providing satisfaction signals and grounds for realistic user simulations.
- Abstract(参考訳): 大規模言語モデル(LLM)により、対話型検索エンジンは、複数のターンで自然な会話で検索意図を表現することによって、ユーザがWebから情報を取得する方法をシフトする。
ユーザの自然な会話は、ユーザの検索意図の豊かだが暗黙的なシグナルと検索結果の評価を具現化し、システムのユーザエクスペリエンスを理解する。
しかし、ユーザがフォローアップクエリに対話検索エンジンとの会話を続ける方法や、フォローアップクエリがユーザの満足度にどのように影響するかは、明らかにされていない。
市販の会話検索エンジンであるNaver Cueでは,250の会話ターンの質的分析から,(1)会話継続の背景にあるユーザのモチベーション(N = 7)と(2)フォローアップクエリの動作(N = 11)の2つの主要な軸からなる,18人のユーザのフォローアップクエリパターンの分類法を提案する。
クエリのリフォームに関する既存の文献と比較して,主観的な意見を求めることや,エンジンの応答に対する自然言語フィードバックの提供など,フォローアップクエリの背景にある新たなモチベーションと行動を明らかにした。
LLMを用いた分類器(精度73%)を構築した。
Cueの実際の利用ログから収集した2,061個の会話タプルを分類器を用いて分析し、我々の分類学からの会話パターンが満足度とどのように相関するかを検討した。
最初の結果から,Clarifying Queries, Excluding Condition, Substitutioning Condition with follow-up queryなど,いくつかの不満のシグナルが示唆された。
提案手法は,現実的なユーザシミュレーションのための満足度信号と根拠を提供することにより,会話検索体験の自動評価に寄与すると考えられる。
関連論文リスト
- Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries [48.243879779374836]
LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。
従来は検索キーやクエリとして生の対話コンテキストを使用していた。
会話のテキスト要約に基づいて会話検索を行う。
LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
論文 参考訳(メタデータ) (2024-02-20T14:31:17Z) - Social Commonsense-Guided Search Query Generation for Open-Domain
Knowledge-Powered Conversations [66.16863141262506]
本稿では,ソーシャルコモンセンスによってガイドされたインターネット検索クエリ生成に焦点を当てた新しいアプローチを提案する。
提案フレームワークは,トピックトラッキング,コモンセンス応答生成,命令駆動クエリ生成を統合することで,受動的ユーザインタラクションに対処する。
論文 参考訳(メタデータ) (2023-10-22T16:14:56Z) - SSP: Self-Supervised Post-training for Conversational Search [63.28684982954115]
本稿では,対話型検索モデルを効率的に初期化するための3つの自己教師型タスクを備えた学習後パラダイムであるフルモデル(モデル)を提案する。
提案手法の有効性を検証するために,CAsT-19 と CAsT-20 の2つのベンチマークデータセットを用いて,会話検索タスクにモデルにより訓練後の会話エンコーダを適用した。
論文 参考訳(メタデータ) (2023-07-02T13:36:36Z) - Search-Engine-augmented Dialogue Response Generation with Cheaply
Supervised Query Production [98.98161995555485]
応答生成のために,任意の検索エンジンから膨大な動的情報にアクセス可能な対話モデルを提案する。
コアモジュールとして、クエリプロデューサを使用して、対話コンテキストからクエリを生成して、検索エンジンと対話する。
R@1とR@5のレートを62.4%と74.8%で達成できることを示す実験を行った。
論文 参考訳(メタデータ) (2023-02-16T01:58:10Z) - Conversational Search with Mixed-Initiative -- Asking Good Clarification
Questions backed-up by Passage Retrieval [9.078765961879467]
我々は,対話型検索のシナリオを混合開始型で扱う。つまり,ユーザ回答,システム回答(明確化質問),ユーザ回答などである。
本研究は,会話の文脈に応じて,次の明確化問題を選択するタスクに焦点をあてる。
提案手法は,関係する候補の明確化質問の初期選択と,それらの候補を再評価するための2つのディープラーニングモデルの微調整に使用される経路探索を利用する。
論文 参考訳(メタデータ) (2021-12-14T11:27:16Z) - Multi-stage Clarification in Conversational AI: The case of
Question-Answering Dialogue Systems [0.27998963147546135]
対話型質問応答や会話型検索など,様々な情報検索タスクにおいて,明確化の解決が重要な役割を担っている。
そこで本稿では,質問応答対話システムのコンテキストにおいて,質問の明確化とクエリ選択を促すための多段階的明確化機構を提案する。
提案手法は,ユーザエクスペリエンス全体の改善と,競合するベースラインを2つのデータセットで比較する。
論文 参考訳(メタデータ) (2021-10-28T15:45:44Z) - Analysing Mixed Initiatives and Search Strategies during Conversational
Search [31.63357369175702]
本稿では,対話型検索のモデルを提案する。そこから観察された対話型検索戦略をインスタンス化し,エージェントが引き起こす: (i) フィードバックファースト, (ii) フィードバックアフタ。
分析の結果,質問結果の提示後に質問された場合,質問内容の明確化が良好であるのに対して,質問内容の明確化が良好であることが判明した。
論文 参考訳(メタデータ) (2021-09-13T13:30:10Z) - Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term
Importance Estimation and Neural Query Rewriting [56.268862325167575]
マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。
本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。
前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。
後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
論文 参考訳(メタデータ) (2020-05-05T14:30:20Z) - Conversations with Search Engines: SERP-based Conversational Response
Generation [77.1381159789032]
我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。
また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。
CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
論文 参考訳(メタデータ) (2020-04-29T13:07:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。