論文の概要: Can User Feedback Help Issue Detection? An Empirical Study on a One-billion-user Online Service System

• arxiv url: http://arxiv.org/abs/2508.00593v1
• Date: Fri, 01 Aug 2025 12:49:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.882565
• Title: Can User Feedback Help Issue Detection? An Empirical Study on a One-billion-user Online Service System
• Title（参考訳）: ユーザフィードバックによる問題検出は可能か? : 1億ユーザオンラインサービスシステムに関する実証的研究
• Authors: Shuyao Jiang, Jiazhen Gu, Wujie Zheng, Yangfan Zhou, Michael R. Lyu,
• Abstract要約: 我々は,1億ユーザオンラインサービスシステムにおいて,現実世界の6つのサービスから50,378,766件のユーザフィードバック項目について実証的研究を行った。 以上の結果から,ユーザからのフィードバックがシステム問題に関する無関係な情報を提供することが明らかとなった。 ユーザのフィードバック特性のみに基づいて、容易に検出できない深刻な問題を見つけ出す。
• 参考スコア（独自算出の注目度）: 28.43595612060133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background: It has long been suggested that user feedback, typically written in natural language by end-users, can help issue detection. However, for large-scale online service systems that receive a tremendous amount of feedback, it remains a challenging task to identify severe issues from user feedback. Aims: To develop a better feedback-based issue detection approach, it is crucial first to gain a comprehensive understanding of the characteristics of user feedback in real production systems. Method: In this paper, we conduct an empirical study on 50,378,766 user feedback items from six real-world services in a one-billion-user online service system. We first study what users provide in their feedback. We then examine whether certain features of feedback items can be good indicators of severe issues. Finally, we investigate whether adopting machine learning techniques to analyze user feedback is reasonable. Results: Our results show that a large proportion of user feedback provides irrelevant information about system issues. As a result, it is crucial to filter out issue-irrelevant information when processing user feedback. Moreover, we find severe issues that cannot be easily detected based solely on user feedback characteristics. Finally, we find that the distributions of the feedback topics in different time intervals are similar. This confirms that designing machine learning-based approaches is a viable direction for better analyzing user feedback. Conclusions: We consider that our findings can serve as an empirical foundation for feedback-based issue detection in large-scale service systems, which sheds light on the design and implementation of practical issue detection approaches.
• Abstract（参考訳）: 背景: エンドユーザが自然言語で記述するユーザフィードバックは,問題検出に役立ちます。 しかし、大量のフィードバックを受けた大規模なオンラインサービスシステムでは、ユーザからのフィードバックから深刻な問題を特定することは依然として難しい課題です。 Aims: より優れたフィードバックベースの課題検出アプローチを開発するためには,まず実運用システムにおけるユーザフィードバックの特徴を包括的に理解することが重要である。 方法:本論文では,6つの現実世界サービスから50,378,766個のユーザフィードバック項目を1億ユーザオンラインサービスシステムで実証研究する。 まず、ユーザがフィードバックで提供するものについて調査する。 次に、フィードバック項目の特定の特徴が深刻な問題の指標となるかどうかを検討する。 最後に、ユーザのフィードバックを分析する機械学習技術が妥当かどうかを検討する。 結果: この結果から,ユーザからのフィードバックがシステム問題に関する無関係な情報を提供することが明らかとなった。 その結果、ユーザフィードバックを処理する際には、問題関連情報をフィルタリングすることが重要となる。 さらに,ユーザのフィードバック特性のみに基づいて,容易に検出できない深刻な問題も発見できる。 最後に、異なる時間間隔におけるフィードバックトピックの分布が類似していることが分かる。 これは、機械学習ベースのアプローチを設計することが、ユーザのフィードバックをよりよく分析するための実行可能な方向であることを確認する。 結論: 当社の発見は,大規模サービスシステムにおけるフィードバックに基づく問題検出の実証的基盤として機能し,実用的な問題検出アプローチの設計と実装に光を当てている。

関連論文リスト

• User Feedback in Human-LLM Dialogues: A Lens to Understand Users But Noisy as a Learning Signal [58.43749783815486]
  本研究では,2つのユーザ-LMインタラクションデータセットにおける暗黙のユーザフィードバックについて検討する。 ユーザフィードバックの内容は、人間設計の短い質問において、モデル性能を向上させることができる。 また、ユーザフィードバックの有用性は、ユーザの最初のプロンプトの品質に大きく関係していることもわかりました。
  論文  参考訳（メタデータ） (2025-07-30T23:33:29Z)
• Can Users Detect Biases or Factual Errors in Generated Responses in Conversational Information-Seeking? [13.790574266700006]
  対話型情報検索システムにおける応答生成の限界について検討する。 本研究は,問合せ応答性の問題と応答不完全性の課題に対処する。 分析の結果,クエリ応答性よりも応答不完全性の検出が容易であることが判明した。
  論文  参考訳（メタデータ） (2024-10-28T20:55:00Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• System-Level Natural Language Feedback [83.24259100437965]
  システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。 検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。 システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
  論文  参考訳（メタデータ） (2023-06-23T16:21:40Z)
• Continually Improving Extractive QA via Human Feedback [59.49549491725224]
  本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。 多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
  論文  参考訳（メタデータ） (2023-05-21T14:35:32Z)
• Simulating Bandit Learning from User Feedback for Extractive Question Answering [51.97943858898579]
  教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。 当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2022-03-18T17:47:58Z)
• Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning [69.42679922160684]
  本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。 当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
  論文  参考訳（メタデータ） (2020-11-01T19:50:34Z)
• An Empirical Study of Clarifying Question-Based Systems [15.767515065224016]
  実験システムをデプロイしてオンライン実験を行い、プロダクトリポジトリに対して明確な質問をすることでユーザと対話する。 暗黙的なインタラクション行動データと,ユーザからの明示的なフィードバックの両方を収集する。 (a)ユーザは,多くの明確な質問(平均11～21件)に回答する意思がありますが,それ以上は多くありません。
  論文  参考訳（メタデータ） (2020-08-01T15:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。