論文の概要: T-FREX: A Transformer-based Feature Extraction Method from Mobile App Reviews

• arxiv url: http://arxiv.org/abs/2401.03833v1
• Date: Mon, 8 Jan 2024 11:43:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 16:44:47.391912
• Title: T-FREX: A Transformer-based Feature Extraction Method from Mobile App Reviews
• Title（参考訳）: T-FREX: モバイルアプリレビューからトランスフォーマーに基づく特徴抽出手法
• Authors: Quim Motger, Alessio Miaschi, Felice Dell'Orletta, Xavier Franch, Jordi Marco
• Abstract要約: モバイルアプリレビュー機能抽出のためのトランスフォーマーベースの完全自動アプローチであるT-FREXを提案する。 まず、実際のクラウドソースのソフトウェアレコメンデーションプラットフォームで、ユーザから真実の一連の機能を収集します。 次に、この新たに作成されたデータセットを使用して、名前付きエンティティ認識タスクで複数のLCMを微調整する。
• 参考スコア（独自算出の注目度）: 5.235401361674881
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mobile app reviews are a large-scale data source for software-related knowledge generation activities, including software maintenance, evolution and feedback analysis. Effective extraction of features (i.e., functionalities or characteristics) from these reviews is key to support analysis on the acceptance of these features, identification of relevant new feature requests and prioritization of feature development, among others. Traditional methods focus on syntactic pattern-based approaches, typically context-agnostic, evaluated on a closed set of apps, difficult to replicate and limited to a reduced set and domain of apps. Meanwhile, the pervasiveness of Large Language Models (LLMs) based on the Transformer architecture in software engineering tasks lays the groundwork for empirical evaluation of the performance of these models to support feature extraction. In this study, we present T-FREX, a Transformer-based, fully automatic approach for mobile app review feature extraction. First, we collect a set of ground truth features from users in a real crowdsourced software recommendation platform and transfer them automatically into a dataset of app reviews. Then, we use this newly created dataset to fine-tune multiple LLMs on a named entity recognition task under different data configurations. We assess the performance of T-FREX with respect to this ground truth, and we complement our analysis by comparing T-FREX with a baseline method from the field. Finally, we assess the quality of new features predicted by T-FREX through an external human evaluation. Results show that T-FREX outperforms on average the traditional syntactic-based method, especially when discovering new features from a domain for which the model has been fine-tuned.
• Abstract（参考訳）: モバイルアプリレビューは、ソフトウェア保守、進化、フィードバック分析を含むソフトウェア関連の知識生成活動のための大規模なデータソースである。 これらのレビューから機能(機能や特徴)を効果的に抽出することが、これらの特徴の受け入れ、関連する新機能要求の特定、機能開発の優先順位付けなどの分析を支援する鍵となる。 従来の方法は構文パターンベースのアプローチ(一般的にコンテキストに依存しない)にフォーカスし、クローズドなアプリのセットで評価し、複製が困難で、アプリのセットとドメインの削減に制限されている。 一方,ソフトウェア工学タスクにおけるトランスフォーマーアーキテクチャに基づく大規模言語モデル(LLM)の普及は,これらのモデルの性能を実証的に評価し,特徴抽出をサポートする基盤となる。 本研究では,モバイルアプリケーションレビュー機能抽出のためのトランスフォーマーベースの完全自動アプローチであるT-FREXを提案する。 まず、実際にクラウドソースされたソフトウェアレコメンデーションプラットフォームのユーザから、一連の真実の機能を収集し、自動的にアプリレビューのデータセットに転送します。 次に、新たに作成されたデータセットを使用して、異なるデータ構成の下で名前付きエンティティ認識タスクの複数のllmを微調整する。 我々は,T-FREXの性能をこの基礎的事実に対して評価し,T-FREXとフィールドのベースライン法を比較して解析を補完する。 最後に,T-FREXにより予測される特徴の質を人体外的評価により評価する。 以上の結果から,T-FREXは従来の構文に基づく手法よりも優れており,特にモデルが微調整された領域から新たな特徴を発見できる。

関連論文リスト

• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Instruct-DeBERTa: A Hybrid Approach for Aspect-based Sentiment Analysis on Textual Reviews [2.0143010051030417]
  Aspect-based Sentiment Analysis (ABSA)は自然言語処理(NLP)における重要な課題である 従来の感情分析手法は、全体的な感情を決定するのに有用だが、特定の製品やサービス機能に関する暗黙の意見を見逃すことが多い。 本稿では、レキシコンベースのアプローチから機械学習まで、ABSA方法論の進化を包括的に概観する。
  論文  参考訳（メタデータ） (2024-08-23T16:31:07Z)
• Leveraging Large Language Models for Mobile App Review Feature Extraction [4.879919005707447]
  本研究では,エンコーダのみの大規模言語モデルがモバイルアプリレビューから特徴抽出を促進できるという仮説を考察する。 クラウドソーシングされたアノテーションを産業的文脈から活用することにより、特徴抽出を教師付きトークン分類タスクとして再定義する。 実験により,抽出した特徴の精度とリコールが向上し,性能効率が向上することが確認された。
  論文  参考訳（メタデータ） (2024-08-02T07:31:57Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Open World Object Detection in the Era of Foundation Models [53.683963161370585]
  5つの実世界のアプリケーション駆動データセットを含む新しいベンチマークを導入する。 本稿では,オープンワールドのための新しいオブジェクト検出モデル(FOMO)を提案する。
  論文  参考訳（メタデータ） (2023-12-10T03:56:06Z)
• Transferability Metrics for Object Detection [0.0]
  Transfer Learningは、既存のトレーニング済みモデルを最大限に活用して、限られたデータシナリオで新しいタスクのパフォーマンスを向上させることを目的としている。 我々は、ROI-Align と TLogME を用いて、転送可能性のメトリクスをオブジェクト検出に拡張する。 我々は,TLogMEが転送性能とロバストな相関を示し,局所的およびグローバルなレベルの特性で他の転送可能性指標より優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-27T08:49:31Z)
• Evaluating Pre-Trained Models for User Feedback Analysis in Software Engineering: A Study on Classification of App-Reviews [2.66512000865131]
  アプリレビュー分類のための事前学習型ニューラルネットワークモデル(PTM)の精度と時間効率について検討した。 複数の設定でPTMを評価するために,異なる研究をセットアップした。 いずれの場合も、MicroとMacro Precision、Recall、F1スコアが使用されます。
  論文  参考訳（メタデータ） (2021-04-12T23:23:45Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Rank-Based Multi-task Learning for Fair Regression [9.95899391250129]
  バイアス付きデータセットに基づくマルチタスク回帰モデルのための新しい学習手法を開発した。 一般的な非パラメトリックオラクルベースの非ワールド乗算器データセットを使用します。
  論文  参考訳（メタデータ） (2020-09-23T22:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。