論文の概要: Can GitHub Issues Help in pp Review Classifications?

• arxiv url: http://arxiv.org/abs/2308.14211v2
• Date: Wed, 3 Jul 2024 08:54:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 20:43:01.854254
• Title: Can GitHub Issues Help in pp Review Classifications?
• Title（参考訳）: GitHubの課題は分類のレビューに役立つか?
• Authors: Yasaman Abedini, Abbas Heydarnoori,
• Abstract要約: GitHubイシューから抽出した情報を活用することでラベル付きデータセットの拡張を支援する新しいアプローチを提案する。 以上の結果から,データ拡張にラベル付き問題を用いることで,F1スコアが6.3,機能要求が7.2に向上することが示された。
• 参考スコア（独自算出の注目度）: 0.7366405857677226
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: App reviews reflect various user requirements that can aid in planning maintenance tasks. Recently, proposed approaches for automatically classifying user reviews rely on machine learning algorithms. A previous study demonstrated that models trained on existing labeled datasets exhibit poor performance when predicting new ones. Therefore, a comprehensive labeled dataset is essential to train a more precise model. In this paper, we propose a novel approach that assists in augmenting labeled datasets by utilizing information extracted from an additional source, GitHub issues, that contains valuable information about user requirements. First, we identify issues concerning review intentions (bug reports, feature requests, and others) by examining the issue labels. Then, we analyze issue bodies and define 19 language patterns for extracting targeted information. Finally, we augment the manually labeled review dataset with a subset of processed issues through the \emph{Within-App}, \emph{Within-Context}, and \emph{Between-App Analysis} methods. We conducted several experiments to evaluate the proposed approach. Our results demonstrate that using labeled issues for data augmentation can improve the F1-score to 6.3 in bug reports and 7.2 in feature requests. Furthermore, we identify an effective range of 0.3 to 0.7 for the auxiliary volume, which provides better performance improvements.
• Abstract（参考訳）: アプリのレビューは、メンテナンスタスクの計画に役立つさまざまなユーザ要件を反映している。 近年,ユーザレビューの自動分類手法は機械学習アルゴリズムに依存している。 前回の研究では、既存のラベル付きデータセットでトレーニングされたモデルは、新しいデータセットを予測する際のパフォーマンスが低かったことが示されていた。 したがって、より正確なモデルをトレーニングするためには、包括的なラベル付きデータセットが不可欠である。 本稿では,ユーザ要求に関する貴重な情報を含むGitHubイシューの追加ソースから抽出した情報を活用することで,ラベル付きデータセットの強化を支援する新しいアプローチを提案する。 まず、イシューラベルを調べることにより、レビュー意図(バグレポート、機能要求など)に関する問題を特定する。 そして,課題を解析し,対象情報を抽出する19の言語パターンを定義する。 最後に、手動でラベル付けされたレビューデータセットを、 \emph{Within-App}、 \emph{Within-Context}、 \emph{Between-App Analysis}メソッドで処理された問題のサブセットで拡張します。 提案手法を評価するためにいくつかの実験を行った。 以上の結果から,データ拡張にラベル付き問題を用いることで,F1スコアが6.3,機能要求が7.2に向上することが示された。 さらに, 補助音量に対して0.3～0.7の有効範囲を同定し, 性能改善を図る。

関連論文リスト

• Improving embedding with contrastive fine-tuning on small datasets with expert-augmented scores [12.86467344792873]
  提案手法では,専門的なスコアから派生したソフトラベルをファインチューン埋め込みモデルに適用する。 オンラインショッピングサイトと8つのエキスパートモデルからQ&Aデータセットを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-08-19T01:59:25Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Automatic Classification of Bug Reports Based on Multiple Text Information and Reports' Intention [37.67372105858311]
  本稿では,バグレポートの自動分類手法を提案する。 イノベーションは、バグレポートを分類する際に、レポートのテキスト情報に加えて、レポートの意図も考慮することである。 提案手法は性能が向上し,F-Measureは87.3%から95.5%に向上した。
  論文  参考訳（メタデータ） (2022-08-02T06:44:51Z)
• Towards a Data-Driven Requirements Engineering Approach: Automatic Analysis of User Reviews [0.440401067183266]
  我々は,フランス語の最先端言語モデルであるCamemBERTを用いて,自動解析を行う。 私たちはHealth & Fitness分野の3つのアプリケーションから6000のユーザレビューのマルチラベル分類データセットを作成しました。 結果は推奨され、新機能の要求に関するレビューを自動的に識別することが可能になることを示唆している。
  論文  参考訳（メタデータ） (2022-06-29T14:14:54Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• Efficient Few-Shot Fine-Tuning for Opinion Summarization [83.76460801568092]
  抽象的な要約モデルは、典型的には大量のジェネリックテキストで事前訓練され、数万から数十万の注釈付きサンプルで微調整される。 アダプタをベースとした数ショット法では,ドメイン内の知識を容易に保存できることを示す。 この自己教師型アダプタの事前トレーニングにより,AmazonとYelpのデータセット上の2.0および1.3ROUGE-Lポイントの要約品質が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-04T16:38:37Z)
• DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
  本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。 モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。 ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
  論文  参考訳（メタデータ） (2022-01-14T00:16:57Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• Evaluating Pre-Trained Models for User Feedback Analysis in Software Engineering: A Study on Classification of App-Reviews [2.66512000865131]
  アプリレビュー分類のための事前学習型ニューラルネットワークモデル(PTM)の精度と時間効率について検討した。 複数の設定でPTMを評価するために,異なる研究をセットアップした。 いずれの場合も、MicroとMacro Precision、Recall、F1スコアが使用されます。
  論文  参考訳（メタデータ） (2021-04-12T23:23:45Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。