論文の概要: LLM-Cure: LLM-based Competitor User Review Analysis for Feature Enhancement
- arxiv url: http://arxiv.org/abs/2409.15724v1
- Date: Tue, 24 Sep 2024 04:17:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 09:01:07.470571
- Title: LLM-Cure: LLM-based Competitor User Review Analysis for Feature Enhancement
- Title（参考訳）: LLM-Cure:機能強化のためのLLMベースの競合ユーザレビュー分析
- Authors: Maram Assi, Safwat Hassan, Ying Zou,
- Abstract要約: 本稿では,大規模言語モデル(LLM)に基づく機能拡張のための競合ユーザレビュー分析を提案する。
LLM-Cureは、LCMを適用して、レビュー内の特徴を特定し、分類する。
LLM-Cureは、ユーザーレビューに苦情を付けると、苦情に関連する競合アプリの高い評価(4と5の星)のレビューをキュレートする。
- 参考スコア（独自算出の注目度）: 0.7285835869818668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The exponential growth of the mobile app market underscores the importance of constant innovation and rapid response to user demands. As user satisfaction is paramount to the success of a mobile application (app), developers typically rely on user reviews, which represent user feedback that includes ratings and comments to identify areas for improvement. However, the sheer volume of user reviews poses challenges in manual analysis, necessitating automated approaches. Existing automated approaches either analyze only the target apps reviews, neglecting the comparison of similar features to competitors or fail to provide suggestions for feature enhancement. To address these gaps, we propose a Large Language Model (LLM)-based Competitive User Review Analysis for Feature Enhancement) (LLM-Cure), an approach powered by LLMs to automatically generate suggestion s for mobile app feature improvements. More specifically, LLM-Cure identifies and categorizes features within reviews by applying LLMs. When provided with a complaint in a user review, LLM-Cure curates highly rated (4 and 5 stars) reviews in competing apps related to the complaint and proposes potential improvements tailored to the target application. We evaluate LLM-Cure on 1,056,739 reviews of 70 popular Android apps. Our evaluation demonstrates that LLM-Cure significantly outperforms the state-of-the-art approaches in assigning features to reviews by up to 13% in F1-score, up to 16% in recall and up to 11% in precision. Additionally, LLM-Cure demonstrates its capability to provide suggestions for resolving user complaints. We verify the suggestions using the release notes that reflect the changes of features in the target mobile app. LLM-Cure achieves a promising average of 73% of the implementation of the provided suggestions.
- Abstract（参考訳）: モバイルアプリ市場の指数的な成長は、継続的なイノベーションとユーザ要求に対する迅速な対応の重要性を浮き彫りにしている。
モバイルアプリケーション(アプリ)の成功にユーザの満足度が最優先されるため、開発者は一般的に、改善すべき領域を特定するための評価やコメントを含む、ユーザからのフィードバックをユーザレビューに頼っている。
しかし、膨大な量のユーザレビューは、手作業による分析や自動化アプローチの必要性に悩まされている。
既存の自動アプローチでは、対象のアプリレビューのみを分析したり、競合と同じような機能の比較を無視したり、機能拡張の提案を怠ったりしている。
これらのギャップに対処するために,LLMを利用したモバイルアプリの機能改善のための提案を自動生成するLarge Language Model (LLM)ベースのCompetitive User Review Analysis for Feature Enhancement (LLM-Cure)を提案する。
より具体的には、LLM-CureはLLMを適用して、レビュー内の機能を識別し分類する。
LLM-Cureは、ユーザレビューで苦情を提示すると、苦情に関連する競合アプリにおいて、高い評価(4と5の星)のレビューをキュレートし、ターゲットアプリケーションに適した潜在的な改善を提案する。
LLM-Cureを70のAndroidアプリの1,056,739のレビューで評価した。
評価の結果,LLM-CureはF1スコアで13%,リコールで16%,精度で11%の精度で,最先端のアプローチよりも優れていた。
さらに、LCM-Cureは、ユーザの苦情を解決するための提案を提供する機能を示している。
ターゲットとするモバイルアプリの機能変更を反映したリリースノートを使って,提案を検証する。
LLM-Cureは提案された提案の実装の73%の有望な平均を達成する。
関連論文リスト
- LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。
オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。
この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
論文 参考訳（メタデータ） (2024-10-09T01:25:10Z) - Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。
提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。
当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
論文 参考訳（メタデータ） (2024-10-03T17:53:30Z) - Exploring Requirements Elicitation from App Store User Reviews Using Large Language Models [0.0]
本研究は,大規模言語モデルのパワーを活用して,ユーザレビューの分析を行い,自動要求の導出を行うアプローチを提案する。
有用性を示すようにラベル付けされたアプリレビューのデータセット上に,確立された3つのLMM BERT, DistilBERT, GEMMAを微調整した。
評価の結果、BERTの精度は92.40%、F1スコアは92.39%であり、有用レビューを正確に分類する効果が示された。
論文 参考訳（メタデータ） (2024-09-23T18:57:31Z) - A Fine-grained Sentiment Analysis of App Reviews using Large Language Models: An Evaluation Study [1.0787328610467801]
大きな言語モデル(LLM)は、モデルのパラメータを更新することなく、いくつかの新しいタスクで素晴らしいパフォーマンスを示している。
本研究は,GPT-4,ChatGPT,LLama-2-chatなど最先端のLCMの性能を比較し,アプリの特徴を抽出する。
その結果、GPT-4モデルは、0ショット特徴抽出によるf1スコアにおいて、ルールベースのアプローチを23.6%上回る性能を示した。
論文 参考訳（メタデータ） (2024-09-11T10:21:13Z) - AI-Driven Review Systems: Evaluating LLMs in Scalable and Bias-Aware Academic Reviews [18.50142644126276]
我々は,人選好のアリーナを用いて,人選好と自動レビューのアライメントを評価する。
我々は、LLMを微調整して人間の好みを予測し、LLM同士の真っ向からの戦いにおいて、どのレビューが好まれるかを予測する。
我々は、公開可能なarXivおよびオープンアクセスのNatureジャーナルのレビューをオンラインで公開し、著者が研究論文をレビューし、改訂し、品質を改善するのに役立つ無料サービスを提供しています。
論文 参考訳（メタデータ） (2024-08-19T19:10:38Z) - Review-LLM: Harnessing Large Language Models for Personalized Review Generation [8.898103706804616]
大規模言語モデル(LLM)は、優れたテキストモデリングと生成能力を示している。
パーソナライズされたレビュー生成のためのLLMをカスタマイズするReview-LLMを提案する。
論文 参考訳（メタデータ） (2024-07-10T09:22:19Z) - Large Language Model as an Assignment Evaluator: Insights, Feedback, and Challenges in a 1000+ Student Course [49.296957552006226]
大規模言語モデル(LLM)を自動評価に用いることは,NLP研究において重要な評価手法となっている。
本報告では,1028人の大学生を対象に,GPT-4を自動課題評価装置として利用する方法について述べる。
論文 参考訳（メタデータ） (2024-07-07T00:17:24Z) - Auto-Arena: Automating LLM Evaluations with Agent Peer Battles and Committee Discussions [77.66677127535222]
Auto-ArenaはLLMエージェントを使用した評価プロセス全体を自動化した革新的なフレームワークである。
我々の実験では、Auto-Arenaは92.14%の相関関係を示し、以前の専門家が注釈付けしたベンチマークをすべて上回っている。
論文 参考訳（メタデータ） (2024-05-30T17:19:19Z) - Self-Improving Customer Review Response Generation Based on LLMs [1.9274286238176854]
SCRABLEは、自己最適化プロンプトによって自己向上する、適応的な顧客レビュー応答自動化である。
顧客レビュー領域で発生する応答の質を評価するために,人間評価者の役割を模倣する自動スコアリング機構を導入する。
論文 参考訳（メタデータ） (2024-05-06T20:50:17Z) - Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。
異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
論文 参考訳（メタデータ） (2023-10-11T16:38:11Z) - A Closer Look into Automatic Evaluation Using Large Language Models [75.49360351036773]
評価プロセスの細部が、LLMが与える評価と人間の評価との相関性をどのように変化させるかについて議論する。
G-Evalで使用されるAuto Chain-of-Thought (CoT)は、必ずしもG-Evalを人間の評価に適合させるものではない。
また、LLMにG-Evalのように、数値評価のみを出力させることが、最適以下であることも示している。
論文 参考訳（メタデータ） (2023-10-09T12:12:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。