論文の概要: "Stupid robot, I want to speak to a human!" User Frustration Detection in Task-Oriented Dialog Systems

• arxiv url: http://arxiv.org/abs/2411.17437v2
• Date: Fri, 10 Jan 2025 14:59:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:25:00.073101
• Title: "Stupid robot, I want to speak to a human!" User Frustration Detection in Task-Oriented Dialog Systems
• Title（参考訳）: 「Stupid Robot, I want to talking a human!」タスク指向対話システムにおけるユーザフラストレーション検出
• Authors: Mireia Hernandez Caralt, Ivan Sekulić, Filip Carević, Nghia Khau, Diana Nicoleta Popa, Bruna Guedes, Victor Guimarães, Zeyu Yang, Andre Manso, Meghana Reddy, Paolo Rosso, Roland Mathis,
• Abstract要約: デプロイされたTODシステムにおけるユーザフラストレーションに着目し,ユーザフラストレーション検出のためのアウト・オブ・ザ・ボックスソリューションの実現可能性を評価する。 我々は,展開したキーワードベースのアプローチ,感情分析へのオープンソースアプローチ,ダイアログの分解検出方法,LLMベースの新たなインコンテキスト学習手法の性能を比較した。
• 参考スコア（独自算出の注目度）: 5.9716068362108
• License:
• Abstract: Detecting user frustration in modern-day task-oriented dialog (TOD) systems is imperative for maintaining overall user satisfaction, engagement, and retention. However, most recent research is focused on sentiment and emotion detection in academic settings, thus failing to fully encapsulate implications of real-world user data. To mitigate this gap, in this work, we focus on user frustration in a deployed TOD system, assessing the feasibility of out-of-the-box solutions for user frustration detection. Specifically, we compare the performance of our deployed keyword-based approach, open-source approaches to sentiment analysis, dialog breakdown detection methods, and emerging in-context learning LLM-based detection. Our analysis highlights the limitations of open-source methods for real-world frustration detection, while demonstrating the superior performance of the LLM-based approach, achieving a 16\% relative improvement in F1 score on an internal benchmark. Finally, we analyze advantages and limitations of our methods and provide an insight into user frustration detection task for industry practitioners.
• Abstract（参考訳）: 現代のタスク指向対話(TOD)システムにおけるユーザフラストレーションの検出は,ユーザ満足度,エンゲージメント,保持性の維持に不可欠である。 しかし、最近の研究では、学術的な環境での感情や感情の検出に焦点が当てられているため、現実世界のユーザデータの含意を完全にカプセル化できない。 このギャップを軽減するため,本研究では,デプロイされたTODシステムにおけるユーザフラストレーションに着目し,ユーザフラストレーション検出のためのアウト・オブ・ザ・ボックスソリューションの実現可能性を評価する。 具体的には、デプロイされたキーワードベースのアプローチ、感情分析へのオープンソースアプローチ、ダイアログの分解検出方法、LLMベースの新たなインコンテキスト学習手法の比較を行う。 実世界のフラストレーション検出におけるオープンソース手法の限界を明らかにするとともに,LLM手法の優れた性能を示すとともに,内部ベンチマークによるF1スコアの16倍の相対的改善を実現している。 最後に,本手法の利点と限界を分析し,産業従事者を対象としたユーザフラストレーション検出タスクについて考察する。

関連論文リスト

• Constraining Participation: Affordances of Feedback Features in Interfaces to Large Language Models [49.74265453289855]
  大規模言語モデル(LLM)は、コンピュータ、Webブラウザ、ブラウザベースのインターフェースによるインターネット接続を持つ人なら誰でも利用できるようになった。 本稿では,ChatGPTインタフェースにおける対話型フィードバック機能の可能性について検討し,ユーザ入力の形状やイテレーションへの参加について分析する。
  論文  参考訳（メタデータ） (2024-08-27T13:50:37Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• Navigating the Shadows: Unveiling Effective Disturbances for Modern AI Content Detectors [24.954755569786396]
  AIテキスト検出は、人間と機械が生成したコンテンツを区別するために現れた。 近年の研究では、これらの検出システムは、しばしば頑丈さを欠き、摂動テキストを効果的に区別する難しさを欠いていることが示されている。 我々の研究は、非公式な文章と専門的な文章の両方で現実世界のシナリオをシミュレートし、現在の検出器のアウト・オブ・ボックスのパフォーマンスを探求する。
  論文  参考訳（メタデータ） (2024-06-13T08:37:01Z)
• Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents [110.25679611755962]
  現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。 Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。 私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
  論文  参考訳（メタデータ） (2024-02-14T14:36:30Z)
• Revealing User Familiarity Bias in Task-Oriented Dialogue via Interactive Evaluation [17.41434948048325]
  我々は,現実的なシナリオに対して,TODシステムがいかに脆弱であるかを明らかにするために,インタラクティブなユーザスタディを実施している。 我々の研究は、オープンゴール設定での会話がシステムの破滅的な失敗につながることを明らかにした。 我々は,システムの能力を超えても,システムがユーザの要求を処理するふりをする,新たな“予測”行動を発見した。
  論文  参考訳（メタデータ） (2023-05-23T09:24:53Z)
• ASHA: Assistive Teleoperation via Human-in-the-Loop Reinforcement Learning [91.58711082348293]
  オンラインユーザからのフィードバックからシステムのパフォーマンスに関する強化学習は、この問題に対する自然な解決策である。 このアプローチでは、特にフィードバックが不足している場合には、ループ内の大量のトレーニングデータが必要になる傾向があります。 疎いユーザフィードバックから効率的に学習する階層型ソリューションを提案する。
  論文  参考訳（メタデータ） (2022-02-05T02:01:19Z)
• What Does The User Want? Information Gain for Hierarchical Dialogue Policy Optimisation [3.1433893853959605]
  強化学習(RL)による最適化は、非効率性と不安定性のサンプリングに影響を受けやすい。 本稿では,この問題に対処するための情報ゲインに基づく本質的な報酬の利用を提案する。 FeudalGainと呼ばれる我々のアルゴリズムは、PyDialフレームワークのほとんどの環境で最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-09-15T07:21:26Z)
• HERALD: An Annotation Efficient Method to Detect User Disengagement in Social Conversations [38.95985439093335]
  ユーザの離脱を検出するための既存の作業は、通常、多くのダイアログサンプルを手作業でラベル付けする必要がある。 本稿では,学習データアノテーションプロセスを再編成する,効率的なアノテーションフレームワークHERALDを提案する。 実験の結果,HERALDはアノテーション効率を大幅に向上し,2つのダイアログコーパスにおいて86%のユーザ解離検出精度を実現することがわかった。
  論文  参考訳（メタデータ） (2021-06-01T01:09:55Z)
• Towards Interpretable and Transferable Speech Emotion Recognition: Latent Representation Based Analysis of Features, Methods and Corpora [8.719165583453304]
  音声感情認識(ser: speech emotion recognition)は、医療から商業部門まで、幅広い用途で用いられてきた。 言語、コーポラ、録音条件の一般化は、この分野では依然としてオープンな課題です。
  論文  参考訳（メタデータ） (2021-05-05T13:47:39Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning [72.99415402575886]
  外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。 本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。 さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-06-19T18:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。