論文の概要: What Users Value and Critique: Large-Scale Analysis of User Feedback on AI-Powered Mobile Apps

• arxiv url: http://arxiv.org/abs/2506.10785v1
• Date: Thu, 12 Jun 2025 14:56:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.800859
• Title: What Users Value and Critique: Large-Scale Analysis of User Feedback on AI-Powered Mobile Apps
• Title（参考訳）: ユーザの価値と批判 - AIベースのモバイルアプリにおけるユーザフィードバックの大規模分析
• Authors: Vinaik Chhetri, Krishna Upadhyay, A. B. Siddique, Umar Farooq,
• Abstract要約: 本稿では,AIを活用したモバイルアプリにおけるユーザフィードバックに関する総合的かつ大規模な研究について紹介する。 私たちは、14カテゴリにわたる292のAI駆動アプリのキュレートされたデータセットを活用し、Google Playから894KのAI固有のレビューを取得しています。 私たちのパイプラインは、ひとつの機能による満足度と、同じレビュー内で別の機能に対するフラストレーションの両方を表面化しています。
• 参考スコア（独自算出の注目度）: 2.352412885878654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial Intelligence (AI)-powered features have rapidly proliferated across mobile apps in various domains, including productivity, education, entertainment, and creativity. However, how users perceive, evaluate, and critique these AI features remains largely unexplored, primarily due to the overwhelming volume of user feedback. In this work, we present the first comprehensive, large-scale study of user feedback on AI-powered mobile apps, leveraging a curated dataset of 292 AI-driven apps across 14 categories with 894K AI-specific reviews from Google Play. We develop and validate a multi-stage analysis pipeline that begins with a human-labeled benchmark and systematically evaluates large language models (LLMs) and prompting strategies. Each stage, including review classification, aspect-sentiment extraction, and clustering, is validated for accuracy and consistency. Our pipeline enables scalable, high-precision analysis of user feedback, extracting over one million aspect-sentiment pairs clustered into 18 positive and 15 negative user topics. Our analysis reveals that users consistently focus on a narrow set of themes: positive comments emphasize productivity, reliability, and personalized assistance, while negative feedback highlights technical failures (e.g., scanning and recognition), pricing concerns, and limitations in language support. Our pipeline surfaces both satisfaction with one feature and frustration with another within the same review. These fine-grained, co-occurring sentiments are often missed by traditional approaches that treat positive and negative feedback in isolation or rely on coarse-grained analysis. To this end, our approach provides a more faithful reflection of the real-world user experiences with AI-powered apps. Category-aware analysis further uncovers both universal drivers of satisfaction and domain-specific frustrations.
• Abstract（参考訳）: 人工知能(AI)を利用した機能は、生産性、教育、エンターテイメント、クリエイティビティなど、さまざまな分野のモバイルアプリで急速に普及している。 しかし、ユーザーがこれらのAI機能をどう認識し、評価し、批判するかは、主にユーザーからのフィードバックが圧倒的に多いため、未解明のままである。 本研究では、Google Playから894KのAI固有のレビューとともに、14カテゴリにわたる292のAI駆動アプリのキュレートされたデータセットを活用する、AI駆動モバイルアプリに対するユーザフィードバックに関する、初めて包括的な大規模研究を紹介する。 我々は,人間ラベル付きベンチマークから始まる多段階解析パイプラインを開発し,大規模言語モデル(LLM)を体系的に評価し,戦略を推し進める。 レビュー分類、アスペクト感抽出、クラスタリングを含む各ステージは、正確性と一貫性のために検証される。 当社のパイプラインは,ユーザフィードバックのスケーラブルで高精度な分析を可能にし,18のポジティブと15のネガティブなユーザトピックに集約された100万以上のアスペクトセンチメントペアを抽出する。 肯定的なコメントは生産性、信頼性、パーソナライズされた支援を強調し、ネガティブなフィードバックは技術的な失敗(例えば、スキャンと認識)、価格の懸念、言語サポートの制限を強調します。 私たちのパイプラインは、ひとつの機能による満足度と、同じレビュー内で別の機能に対するフラストレーションの両方を表面化しています。 これらの微粒で共起的な感情は、単独でポジティブでネガティブなフィードバックを処理したり、粗い粒度の分析に頼る伝統的なアプローチによって見逃されることが多い。 この目的のために、私たちのアプローチは、AIベースのアプリによる現実世界のユーザエクスペリエンスをより忠実に反映します。 カテゴリー認識分析は、満足度とドメイン固有のフラストレーションの両方の普遍的な要因を明らかにする。

関連論文リスト

• Exploring Zero-Shot App Review Classification with ChatGPT: Challenges and Potential [1.1988955088595858]
  本研究は,アプリレビューを機能要件,非機能要件,両方,あるいは両方に分類される4つのカテゴリに分類するために,ChatGPTを用いたゼロショット学習の可能性を検討する。 我々はChatGPTのパフォーマンスを、複数のドメインにまたがる10の多様なアプリから手動で注釈付きレビュー1,880のベンチマークデータセットで評価した。
  論文  参考訳（メタデータ） (2025-05-07T19:39:04Z)
• A Contrastive Framework with User, Item and Review Alignment for Recommendation [25.76462243743591]
  レビュー中心のレコメンデーションのためのコントラストアライメントフレームワーク(ReCAFR)を紹介する。 ReCAFRは、レビューをコア学習プロセスに組み込んで、ユーザ、アイテム、レビュー表現の整合性を確保する。 具体的には、レビューベースの拡張を利用した2つの自己監督型コントラスト戦略を活用して、スパシティを緩和する。
  論文  参考訳（メタデータ） (2025-01-21T08:21:45Z)
• Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models [52.368110271614285]
  我々は,NLG評価器に対する新しいブラックボックス対逆フレームワークであるAdvEvalを紹介する。 AdvEvalは、人間と被害者の評価者との強い意見の相違をもたらすデータを生成するために特別に調整されている。 我々は,12名の被害者評価者と11名のNLGデータセットを用いて,対話,要約,質問評価などのタスクを分散した実験を行った。
  論文  参考訳（メタデータ） (2024-05-23T14:48:15Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Human-in-the-loop Fairness: Integrating Stakeholder Feedback to Incorporate Fairness Perspectives in Responsible AI [4.0247545547103325]
  公正は人工知能(AI)を用いたリスクの高い意思決定への関心が高まっている 普遍的に受け入れられる公正度尺度はなく、公正性は文脈依存であり、公正と見なされるものに関して矛盾する視点があるかもしれない。 私たちの作業は、ステークホルダーが特定の決定インスタンスとその公正性に関する結果に対してフィードバックをすることができるアプローチに従っています。
  論文  参考訳（メタデータ） (2023-12-13T11:17:29Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• SIFN: A Sentiment-aware Interactive Fusion Network for Review-based Item Recommendation [48.1799451277808]
  本稿では、レビューに基づく項目推薦のための感性認識型インタラクティブフュージョンネットワーク(SIFN)を提案する。 まず、BERTを介してユーザ/イテムレビューをエンコードし、各レビューのセマンティックな特徴を抽出する軽量な感情学習者を提案する。 そこで我々は,感情学習者が明示的な感情ラベルを用いて感情認識特徴を抽出するための感情予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-08-18T08:04:38Z)
• Sentiment Analysis of Users' Reviews on COVID-19 Contact Tracing Apps with a Benchmark Dataset [6.592595861973966]
  接触追跡は、新型コロナウイルスの感染率を制御する戦いで世界的に採用されています。 スマートフォンやウェアラブルデバイスなどのデジタル技術のおかげで、COVID-19患者の連絡先を簡単に追跡し、ウイルスへの潜在的な曝露について知らせることができます。 興味深いモバイルアプリケーションもいくつか開発されている。 しかしながら、これらのアプリケーションの動作メカニズムやパフォーマンスに対する懸念はますます高まっている。 本研究では,クラウドソーシングによる手動アノテーションから始めるパイプラインを提案し,ユーザのレビュー自動感情分析のためのaiモデルの開発とトレーニングについて考察する。
  論文  参考訳（メタデータ） (2021-03-01T18:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。