論文の概要: How Effectively Do LLMs Extract Feature-Sentiment Pairs from App Reviews?

• arxiv url: http://arxiv.org/abs/2409.07162v3
• Date: Sun, 09 Feb 2025 14:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:27:53.501401
• Title: How Effectively Do LLMs Extract Feature-Sentiment Pairs from App Reviews?
• Title（参考訳）: アプリレビューからLLMが機能感覚ペアを抽出するにはどうしたら効果的か?
• Authors: Faiz Ali Shah, Ahmed Sabir, Rajesh Sharma, Dietmar Pfahl,
• Abstract要約: 本研究は,GPT-4,ChatGPT,およびLlama-2チャットの異なる変種を含む最先端LLMの性能を比較した。 肯定的な感情と中立的な感情を予測するため、GPT-4は0ショット設定でf1スコアの76%と45%を達成している。
• 参考スコア（独自算出の注目度）: 2.218667838700643
• License:
• Abstract: Automatic analysis of user reviews to understand user sentiments toward app functionality (i.e. app features) helps align development efforts with user expectations and needs. Recent advances in Large Language Models (LLMs) such as ChatGPT have shown impressive performance on several new tasks without updating the model's parameters i.e. using zero or a few labeled examples, but the capabilities of LLMs are yet unexplored for feature-specific sentiment analysis. The goal of our study is to explore the capabilities of LLMs to perform feature-specific sentiment analysis of user reviews. This study compares the performance of state-of-the-art LLMs, including GPT-4, ChatGPT, and different variants of Llama-2 chat, against previous approaches for extracting app features and associated sentiments in zero-shot, 1-shot, and 5-shot scenarios. The results indicate that GPT-4 outperforms the rule-based SAFE by 17% in f1-score for extracting app features in the zero-shot scenario, with 5-shot further improving it by 6%. However, the fine-tuned RE-BERT exceeds GPT-4 by 6% in f1-score. For predicting positive and neutral sentiments, GPT-4 achieves f1-scores of 76% and 45% in the zero-shot setting, which improve by 7% and 23% in the 5-shot setting, respectively. Our study conducts a thorough evaluation of both proprietary and open-source LLMs to provide an objective assessment of their performance in extracting feature-sentiment pairs.
• Abstract（参考訳）: アプリ機能に対するユーザ感情を理解するためのユーザレビューの自動分析は、開発努力とユーザの期待とニーズを一致させるのに役立つ。 ChatGPTのようなLarge Language Models(LLM)の最近の進歩は、モデルパラメーターを更新せずにいくつかの新しいタスク、すなわちゼロまたはいくつかのラベル付き例を更新することなく、印象的なパフォーマンスを示している。 本研究の目的は,LLMがユーザレビューの特徴特異的感情分析を行う能力について検討することである。 本研究では,GPT-4,ChatGPT,およびLlama-2チャットのさまざまなバリエーションを含む最先端LLMの性能を,ゼロショット,1ショット,5ショットシナリオにおけるアプリ機能や関連する感情を抽出するための従来のアプローチと比較する。 その結果, GPT-4は0ショットシナリオのアプリ機能抽出において, f1スコアでルールベースSAFEを17%上回り, 5ショットでは6%向上した。 しかし、細調整されたRE-BERTは、f1スコアでGPT-4を6%上回る。 肯定的な感情と中立的な感情を予測するため、GPT-4は0ショット設定でf1スコアを76%、0ショット設定で45%達成し、それぞれ5ショット設定で7%と23%改善した。 本研究では,プロプライエタリLLMとオープンソースLLMの両方を徹底的に評価し,特徴感対抽出における性能の客観的評価を行う。

関連論文リスト

• Language Models are Few-Shot Graders [0.12289361708127876]
  我々は最先端のLCMを利用したASAGパイプラインを提案する。 GPT-4、GPT-4o、o1-previewの3つのOpenAIモデルのグレーディング性能を比較した。 以上の結果より,RAGによる選択はランダム選択よりも優れており,グレードドドサンプルを提供することでグレーディング精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-02-18T23:38:21Z)
• MedSlice: Fine-Tuned Large Language Models for Secure Clinical Note Sectioning [2.4060718165478376]
  微調整のオープンソース LLM は、臨床ノートのセクションリングにおいて独自のモデルを上回ることができる。 本研究は,現在病歴,インターバル歴史,アセスメント・アンド・プランの3つのセクションに焦点をあてる。
  論文  参考訳（メタデータ） (2025-01-23T21:32:09Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• See What LLMs Cannot Answer: A Self-Challenge Framework for Uncovering LLM Weaknesses [51.975495361024606]
  本稿では,Human-in-the-loopを用いたセルフチェレンジ評価フレームワークを提案する。 GPT-4が答えられないシードインスタンスから始めて、GPT-4に新しいインスタンスを生成するのに使えるエラーパターンを要約するように促します。 次に,GPT-4が生成する1,835個のインスタンスと,人手によるゴールド応答を併用したベンチマーク,SC-G4を構築した。
  論文  参考訳（メタデータ） (2024-08-16T19:01:52Z)
• GPT4Vis: What Can GPT-4 Do for Zero-shot Visual Recognition? [82.40761196684524]
  本稿では,ゼロショット視覚認識タスクにおけるGPT-4の言語的・視覚的能力の評価に焦点を当てる。 我々は、画像、ビデオ、点群にわたるGPT-4の性能を評価するための広範な実験を行った。 言語記述が充実したGPT-4はゼロショット認識を著しく改善した。
  論文  参考訳（メタデータ） (2023-11-27T11:29:10Z)
• ExtractGPT: Exploring the Potential of Large Language Models for Product Attribute Value Extraction [52.14681890859275]
  電子商取引プラットフォームは、属性と値のペアという形で構造化された製品データを必要とする。 BERTベースの抽出法では,タスク固有の大量のトレーニングデータを必要とする。 本稿では,大規模言語モデル (LLM) を,より訓練的かつ堅牢な代替手段として活用することを検討する。
  論文  参考訳（メタデータ） (2023-10-19T07:39:00Z)
• Prometheus: Inducing Fine-grained Evaluation Capability in Language Models [66.12432440863816]
  我々は,GPT-4の評価能力に匹敵する,完全にオープンソースなLarge Language Model (LLM) であるPrometheusを提案する。 プロメテウスは45種類の楽譜を用いた評価において、Pearsonの0.897の相関を人間の評価値と比較した。 Prometheusは2つの人間の選好ベンチマークで最も精度が高い。
  論文  参考訳（メタデータ） (2023-10-12T16:50:08Z)
• Instances Need More Care: Rewriting Prompts for Instances with LLMs in the Loop Yields Better Zero-Shot Performance [11.595274304409937]
  大規模言語モデル(LLM)はゼロショットタスクのパフォーマンスに革命をもたらした。 レッツ・シンク・バイ・ステップ(Let's Think by Step)」のようなトリガーフレーズを使った現在の手法は依然として限られている。 本研究では,タスクインスタンスのゼロショットプロンプトを最適化するPRomPTedを導入する。
  論文  参考訳（メタデータ） (2023-10-03T14:51:34Z)
• Split and Merge: Aligning Position Biases in LLM-based Evaluators [22.265542509143756]
  PortIAは、人間の比較戦略を模倣して位置バイアスを校正するアライメントベースのシステムである。 その結果, Portia はテスト対象のモデルと比較形態の整合性を著しく向上させることがわかった。 GPT-4モデルにおける位置バイアスの約80%を修正し、一貫性を98%まで高める。
  論文  参考訳（メタデータ） (2023-09-29T14:38:58Z)
• Exploring Small Language Models with Prompt-Learning Paradigm for Efficient Domain-Specific Text Classification [2.410463233396231]
  小型言語モデル(SLM)は、ドメイン固有のタスクに対して、大幅なカスタマイズ性、適応性、コスト効率を提供する。 プロンプトベースのモデル微調整が可能となる場合、T5ベースは220Mパラメータを持つ典型的なSLMであり、ラベル付きデータで約75%の精度が得られる。 固定モデルを用いたゼロショット設定では、約154Bのパラメータを備えたGPT-3.5-turboが55.16%の精度を持つにもかかわらず、よく設計されたプロンプトのパワーが明らかになるという重要な観察結果が得られた。
  論文  参考訳（メタデータ） (2023-09-26T09:24:46Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。