論文の概要: Evaluating Pre-Trained Models for User Feedback Analysis in Software
Engineering: A Study on Classification of App-Reviews
- arxiv url: http://arxiv.org/abs/2104.05861v1
- Date: Mon, 12 Apr 2021 23:23:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-15 01:24:29.777820
- Title: Evaluating Pre-Trained Models for User Feedback Analysis in Software
Engineering: A Study on Classification of App-Reviews
- Title（参考訳）: ソフトウェア工学におけるユーザフィードバック分析のための事前学習モデルの評価:アプリレビューの分類に関する研究
- Authors: Mohammad Abdul Hadi, Fatemeh H. Fard
- Abstract要約: アプリレビュー分類のための事前学習型ニューラルネットワークモデル(PTM)の精度と時間効率について検討した。
複数の設定でPTMを評価するために,異なる研究をセットアップした。
いずれの場合も、MicroとMacro Precision、Recall、F1スコアが使用されます。
- 参考スコア（独自算出の注目度）: 2.66512000865131
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context: Mobile app reviews written by users on app stores or social media
are significant resources for app developers.Analyzing app reviews have proved
to be useful for many areas of software engineering (e.g., requirement
engineering, testing). Automatic classification of app reviews requires
extensive efforts to manually curate a labeled dataset. When the classification
purpose changes (e.g. identifying bugs versus usability issues or sentiment),
new datasets should be labeled, which prevents the extensibility of the
developed models for new desired classes/tasks in practice. Recent pre-trained
neural language models (PTM) are trained on large corpora in an unsupervised
manner and have found success in solving similar Natural Language Processing
problems. However, the applicability of PTMs is not explored for app review
classification Objective: We investigate the benefits of PTMs for app review
classification compared to the existing models, as well as the transferability
of PTMs in multiple settings. Method: We empirically study the accuracy and
time efficiency of PTMs compared to prior approaches using six datasets from
literature. In addition, we investigate the performance of the PTMs trained on
app reviews (i.e. domain-specific PTMs) . We set up different studies to
evaluate PTMs in multiple settings: binary vs. multi-class classification,
zero-shot classification (when new labels are introduced to the model),
multi-task setting, and classification of reviews from different resources. The
datasets are manually labeled app review datasets from Google Play Store, Apple
App Store, and Twitter data. In all cases, Micro and Macro Precision, Recall,
and F1-scores will be used and we will report the time required for training
and prediction with the models.
- Abstract（参考訳）: コンテキスト: アプリストアやソーシャルメディアでユーザによって書かれたモバイルアプリレビューは、アプリ開発者にとって重要なリソースである。アプリのレビューを分析することは、ソフトウェアエンジニアリングの多くの分野(要件エンジニアリング、テストなど)で有用であることが証明されている。
アプリレビューの自動分類には、ラベル付きデータセットを手作業でキュレートする必要がある。
分類の目的が変わったとき(例)
バグとユーザビリティの問題や感情の識別) 新しいデータセットにはラベルを付ける必要がある。
最近の訓練済みニューラルネットワークモデル(ptm)は、教師なしの方法で大きなコーパスで訓練され、同様の自然言語処理問題を解決することに成功している。
既存のモデルと比較して,アプリケーションレビュー分類における PTM のメリットと,複数設定での PTM の転送可能性について検討する。
方法: 文献から得られた6つのデータセットを用いて, 従来の手法と比較して, PTMの精度と時間効率を実証的に検討した。
さらに,アプリレビューに基づいてトレーニングしたPTMの性能について検討した。
ドメイン固有のPTM)。
我々は、ptmを複数の設定で評価するために異なる研究方法を設定した:バイナリ対マルチクラス分類、ゼロショット分類(モデルに新しいラベルが導入されたとき)、マルチタスク設定、異なるリソースからのレビューの分類。
データセットは、Google Play Store、Apple App Store、Twitterデータから、手動でアプリレビューデータセットにラベル付けされる。
いずれの場合も、マイクロおよびマクロの精度、リコール、およびf1-scoreが使用され、モデルのトレーニングと予測に要する時間を報告します。
関連論文リスト
- Interactive Classification Metrics: A graphical application to build robust intuition for classification model evaluation [0.0]
インタラクティブ分類メトリクス(ICM)は、異なる評価指標間の関係を可視化し、探索するアプリケーションである。
ユーザーは分布統計を変更し、一連の評価指標を通して対応する変化を探索する。
論文 参考訳（メタデータ） (2024-12-22T15:36:15Z) - Towards a Classification of Open-Source ML Models and Datasets for Software Engineering [52.257764273141184]
オープンソースの事前訓練モデル(PTM)とデータセットは、さまざまな機械学習(ML)タスクに広範なリソースを提供する。
これらのリソースには、ソフトウェア工学(SE)のニーズに合わせた分類がない。
我々は、人気のあるオープンソースのMLリポジトリであるHugging Face (HF)上で、SE指向の分類をPTMとデータセットに適用し、時間とともにPTMの進化を分析する。
論文 参考訳（メタデータ） (2024-11-14T18:52:05Z) - Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。
生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。
我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
論文 参考訳（メタデータ） (2024-10-02T20:48:28Z) - Automated categorization of pre-trained models for software engineering: A case study with a Hugging Face dataset [9.218130273952383]
ソフトウェアエンジニアリング活動は、事前訓練されたモデル(PTM)の出現によって革新した。
Hugging Face (HF)プラットフォームは、いくつかのモデルを収集、保存、キュレーションすることで、PTMの使用を単純化する。
本稿では,SEタスクに対するPTMの自動分類を実現するためのアプローチを提案する。
論文 参考訳（メタデータ） (2024-05-21T20:26:17Z) - Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳（メタデータ） (2024-01-29T18:27:52Z) - T-FREX: A Transformer-based Feature Extraction Method from Mobile App
Reviews [5.235401361674881]
モバイルアプリレビュー機能抽出のためのトランスフォーマーベースの完全自動アプローチであるT-FREXを提案する。
まず、実際のクラウドソースのソフトウェアレコメンデーションプラットフォームで、ユーザから真実の一連の機能を収集します。
次に、この新たに作成されたデータセットを使用して、名前付きエンティティ認識タスクで複数のLCMを微調整する。
論文 参考訳（メタデータ） (2024-01-08T11:43:03Z) - Can GitHub Issues Help in App Review Classifications? [0.7366405857677226]
GitHubイシューから抽出した情報を活用することでラベル付きデータセットの拡張を支援する新しいアプローチを提案する。
以上の結果から,データ拡張にラベル付き問題を用いることで,F1スコアが6.3,機能要求が7.2に向上することが示された。
論文 参考訳（メタデータ） (2023-08-27T22:01:24Z) - Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。
近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。
CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
論文 参考訳（メタデータ） (2023-03-13T17:59:02Z) - Pre-Trained Neural Language Models for Automatic Mobile App User
Feedback Answer Generation [9.105367401167129]
調査によると、モバイルアプリのユーザからのアプリストアへのフィードバックに対する開発者の回答は、アプリのスターレーティングを増加させる可能性がある。
アプリの開発者がユーザの問題に関連する回答を生成するのを助けるために、最近の研究では、回答を自動的に生成するモデルを開発している。
本稿では,事前学習されたニューラルネットワークモデル(PTM)を評価し,モバイルアプリのユーザフィードバックに対する応答を生成する。
論文 参考訳（メタデータ） (2022-02-04T18:26:55Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。