論文の概要: T-FREX: A Transformer-based Feature Extraction Method from Mobile App
Reviews
- arxiv url: http://arxiv.org/abs/2401.03833v1
- Date: Mon, 8 Jan 2024 11:43:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 16:44:47.391912
- Title: T-FREX: A Transformer-based Feature Extraction Method from Mobile App
Reviews
- Title(参考訳): T-FREX: モバイルアプリレビューからトランスフォーマーに基づく特徴抽出手法
- Authors: Quim Motger, Alessio Miaschi, Felice Dell'Orletta, Xavier Franch,
Jordi Marco
- Abstract要約: モバイルアプリレビュー機能抽出のためのトランスフォーマーベースの完全自動アプローチであるT-FREXを提案する。
まず、実際のクラウドソースのソフトウェアレコメンデーションプラットフォームで、ユーザから真実の一連の機能を収集します。
次に、この新たに作成されたデータセットを使用して、名前付きエンティティ認識タスクで複数のLCMを微調整する。
- 参考スコア(独自算出の注目度): 5.235401361674881
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mobile app reviews are a large-scale data source for software-related
knowledge generation activities, including software maintenance, evolution and
feedback analysis. Effective extraction of features (i.e., functionalities or
characteristics) from these reviews is key to support analysis on the
acceptance of these features, identification of relevant new feature requests
and prioritization of feature development, among others. Traditional methods
focus on syntactic pattern-based approaches, typically context-agnostic,
evaluated on a closed set of apps, difficult to replicate and limited to a
reduced set and domain of apps. Meanwhile, the pervasiveness of Large Language
Models (LLMs) based on the Transformer architecture in software engineering
tasks lays the groundwork for empirical evaluation of the performance of these
models to support feature extraction. In this study, we present T-FREX, a
Transformer-based, fully automatic approach for mobile app review feature
extraction. First, we collect a set of ground truth features from users in a
real crowdsourced software recommendation platform and transfer them
automatically into a dataset of app reviews. Then, we use this newly created
dataset to fine-tune multiple LLMs on a named entity recognition task under
different data configurations. We assess the performance of T-FREX with respect
to this ground truth, and we complement our analysis by comparing T-FREX with a
baseline method from the field. Finally, we assess the quality of new features
predicted by T-FREX through an external human evaluation. Results show that
T-FREX outperforms on average the traditional syntactic-based method,
especially when discovering new features from a domain for which the model has
been fine-tuned.
- Abstract(参考訳): モバイルアプリレビューは、ソフトウェア保守、進化、フィードバック分析を含むソフトウェア関連の知識生成活動のための大規模なデータソースである。
これらのレビューから機能(機能や特徴)を効果的に抽出することが、これらの特徴の受け入れ、関連する新機能要求の特定、機能開発の優先順位付けなどの分析を支援する鍵となる。
従来の方法は構文パターンベースのアプローチ(一般的にコンテキストに依存しない)にフォーカスし、クローズドなアプリのセットで評価し、複製が困難で、アプリのセットとドメインの削減に制限されている。
一方,ソフトウェア工学タスクにおけるトランスフォーマーアーキテクチャに基づく大規模言語モデル(LLM)の普及は,これらのモデルの性能を実証的に評価し,特徴抽出をサポートする基盤となる。
本研究では,モバイルアプリケーションレビュー機能抽出のためのトランスフォーマーベースの完全自動アプローチであるT-FREXを提案する。
まず、実際にクラウドソースされたソフトウェアレコメンデーションプラットフォームのユーザから、一連の真実の機能を収集し、自動的にアプリレビューのデータセットに転送します。
次に、新たに作成されたデータセットを使用して、異なるデータ構成の下で名前付きエンティティ認識タスクの複数のllmを微調整する。
我々は,T-FREXの性能をこの基礎的事実に対して評価し,T-FREXとフィールドのベースライン法を比較して解析を補完する。
最後に,T-FREXにより予測される特徴の質を人体外的評価により評価する。
以上の結果から,T-FREXは従来の構文に基づく手法よりも優れており,特にモデルが微調整された領域から新たな特徴を発見できる。
関連論文リスト
- Have Seen Me Before? Automating Dataset Updates Towards Reliable and
Timely Evaluation [59.91488389687633]
大きな言語モデル(LLM)は、ますます深刻な評価課題に直面しています。
本稿では,信頼性とタイムリーな評価のために,データセットの更新を自動化することを提案する。
論文 参考訳(メタデータ) (2024-02-19T07:15:59Z) - Open World Object Detection in the Era of Foundation Models [53.683963161370585]
5つの実世界のアプリケーション駆動データセットを含む新しいベンチマークを導入する。
本稿では,オープンワールドのための新しいオブジェクト検出モデル(FOMO)を提案する。
論文 参考訳(メタデータ) (2023-12-10T03:56:06Z) - Transferability Metrics for Object Detection [0.0]
Transfer Learningは、既存のトレーニング済みモデルを最大限に活用して、限られたデータシナリオで新しいタスクのパフォーマンスを向上させることを目的としている。
我々は、ROI-Align と TLogME を用いて、転送可能性のメトリクスをオブジェクト検出に拡張する。
我々は,TLogMEが転送性能とロバストな相関を示し,局所的およびグローバルなレベルの特性で他の転送可能性指標より優れていることを示す。
論文 参考訳(メタデータ) (2023-06-27T08:49:31Z) - Extensive Evaluation of Transformer-based Architectures for Adverse Drug
Events Extraction [6.78974856327994]
逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。
我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。
分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
論文 参考訳(メタデータ) (2023-06-08T15:25:24Z) - Quality In / Quality Out: Assessing Data quality in an Anomaly Detection
Benchmark [0.13764085113103217]
同じベンチマークデータセット(異常検出のためのフローベースリアルタイムデータセットであるUGR'16)に対する比較的小さな変更は、考慮した機械学習技術よりも、モデルパフォーマンスに著しく影響することを示します。
この結果から,自律型ネットワークにおけるデータ品質評価と最適化技術に,より注意を払う必要があることが示唆された。
論文 参考訳(メタデータ) (2023-05-31T12:03:12Z) - infoVerse: A Universal Framework for Dataset Characterization with
Multidimensional Meta-information [68.76707843019886]
infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。
infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。
実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2023-05-30T18:12:48Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Evaluating Pre-Trained Models for User Feedback Analysis in Software
Engineering: A Study on Classification of App-Reviews [2.66512000865131]
アプリレビュー分類のための事前学習型ニューラルネットワークモデル(PTM)の精度と時間効率について検討した。
複数の設定でPTMを評価するために,異なる研究をセットアップした。
いずれの場合も、MicroとMacro Precision、Recall、F1スコアが使用されます。
論文 参考訳(メタデータ) (2021-04-12T23:23:45Z) - Learning Discrete Energy-based Models via Auxiliary-variable Local
Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。
エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。
本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文 参考訳(メタデータ) (2020-11-10T19:31:29Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳(メタデータ) (2020-11-03T07:49:15Z) - Rank-Based Multi-task Learning for Fair Regression [9.95899391250129]
バイアス付きデータセットに基づくマルチタスク回帰モデルのための新しい学習手法を開発した。
一般的な非パラメトリックオラクルベースの非ワールド乗算器データセットを使用します。
論文 参考訳(メタデータ) (2020-09-23T22:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。