論文の概要: Reading Between the Lines: Scalable User Feedback via Implicit Sentiment in Developer Prompts

• arxiv url: http://arxiv.org/abs/2509.18361v1
• Date: Mon, 22 Sep 2025 19:37:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.549434
• Title: Reading Between the Lines: Scalable User Feedback via Implicit Sentiment in Developer Prompts
• Title（参考訳）: 行間を読む: 開発者プロンプトのインプシットセンシティメントによるスケーラブルなユーザフィードバック
• Authors: Daye Nam, Malgorzata Salawa, Satish Chandra,
• Abstract要約: 我々は、開発者プロンプトの感情分析を用いて、ユーザの満足度を示す暗黙のシグナルを識別する。 このアプローチは、すべてのインタラクションの8%において、明示的なユーザフィードバックの13倍以上のレートでシグナルを識別できることを示す。
• 参考スコア（独自算出の注目度）: 5.543405828725977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating developer satisfaction with conversational AI assistants at scale is critical but challenging. User studies provide rich insights, but are unscalable, while large-scale quantitative signals from logs or in-product ratings are often too shallow or sparse to be reliable. To address this gap, we propose and evaluate a new approach: using sentiment analysis of developer prompts to identify implicit signals of user satisfaction. With an analysis of industrial usage logs of 372 professional developers, we show that this approach can identify a signal in ~8% of all interactions, a rate more than 13 times higher than explicit user feedback, with reasonable accuracy even with an off-the-shelf sentiment analysis approach. This new practical approach to complement existing feedback channels would open up new directions for building a more comprehensive understanding of the developer experience at scale.
• Abstract（参考訳）: 会話型AIアシスタントによる開発者の満足度を大規模に評価することは重要だが、難しい。 ユーザスタディは豊富な洞察を提供するが、スケールできない。ログや製品内レーティングからの大規模な定量的信号は、しばしば浅すぎて、信頼性が低い。 このギャップに対処するために,開発者の感情分析を用いて,ユーザの満足度を示す暗黙のシグナルを識別する手法を提案する。 372人のプロ開発者の産業利用ログを分析した結果、本手法は、全インタラクションの約8%、明示的なユーザフィードバックの13倍以上の確率で、既成の感情分析アプローチであっても、適切な精度でシグナルを識別できることが判明した。 既存のフィードバックチャネルを補完するこの新しい実践的アプローチは、大規模な開発者エクスペリエンスをより包括的に理解するための、新たな方向性を開くものだ。

関連論文リスト

• Mind the Gap: A Decade-Scale Empirical Study of Multi-Stakeholder Dynamics in VR Ecosystem [8.609024465251874]
  トピックモデリングと影響分析を944,320のユーザレビューと389,477の開発者投稿に適用する。 以上の結果から,ユーザが繰り返しこのような問題を提起する一方で,開発者フォーラムで議論されることは滅多にないことがわかった。 これらの洞察は、VRエコシステムにおけるユーザーと開発者の間のギャップを埋めるためのデータ駆動のレコメンデーションを可能にする。
  論文  参考訳（メタデータ） (2025-08-23T05:35:12Z)
• User Feedback in Human-LLM Dialogues: A Lens to Understand Users But Noisy as a Learning Signal [58.43749783815486]
  本研究では,2つのユーザ-LMインタラクションデータセットにおける暗黙のユーザフィードバックについて検討する。 ユーザフィードバックの内容は、人間設計の短い質問において、モデル性能を向上させることができる。 また、ユーザフィードバックの有用性は、ユーザの最初のプロンプトの品質に大きく関係していることもわかりました。
  論文  参考訳（メタデータ） (2025-07-30T23:33:29Z)
• What Users Value and Critique: Large-Scale Analysis of User Feedback on AI-Powered Mobile Apps [2.352412885878654]
  本稿では,AIを活用したモバイルアプリにおけるユーザフィードバックに関する総合的かつ大規模な研究について紹介する。 私たちは、14カテゴリにわたる292のAI駆動アプリのキュレートされたデータセットを活用し、Google Playから894KのAI固有のレビューを取得しています。 私たちのパイプラインは、ひとつの機能による満足度と、同じレビュー内で別の機能に対するフラストレーションの両方を表面化しています。
  論文  参考訳（メタデータ） (2025-06-12T14:56:52Z)
• Mind the Gap! Static and Interactive Evaluations of Large Audio Models [55.87220295533817]
  大型オーディオモデル(LAM)は、音声ネイティブな体験をパワーアップするために設計されている。 本研究は,484名の参加者から,LAMを評価し,7,500名のLAMインタラクションを収集する対話的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-21T20:29:02Z)
• Hesitation and Tolerance in Recommender Systems [33.755867719862394]
  ためらいは広く、ユーザエクスペリエンスに大きな影響を与えています。 ユーザーが興味のないコンテンツにより多くの時間を費やすと、ネガティブな感情が生まれます。 我々は,寛容行動を示す信号を特定し,電子商取引と短ビデオプラットフォームの両方からのデータセットを分析した。
  論文  参考訳（メタデータ） (2024-12-13T08:14:10Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems [60.27663010453209]
  我々は,大規模言語モデル(LLM)を利用して,満足度を考慮した対実対話を生成する。 生成されたサンプルの信頼性を確保するために、人間のアノテーションを収集します。 この結果から,TODシステムにおけるユーザ満足度推定のためのデータ拡張手法の必要性が明らかになった。
  論文  参考訳（メタデータ） (2024-03-27T23:45:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。