Fugu-MT 論文翻訳(概要): Zero-shot Bilingual App Reviews Mining with Large Language Models

論文の概要: Zero-shot Bilingual App Reviews Mining with Large Language Models

arxiv url: http://arxiv.org/abs/2311.03058v1
Date: Mon, 6 Nov 2023 12:36:46 GMT
ステータス: 処理完了
システム内更新日: 2023-11-07 14:37:13.839526
Title: Zero-shot Bilingual App Reviews Mining with Large Language Models
Title（参考訳）: ゼロショットバイリンガルアプリレビュー:大規模言語モデルによるマイニング
Authors: Jialiang Wei, Anne-Lise Courbis, Thomas Lambolais, Binbin Xu, Pierre Louis Bernard, G\'erard Dray
Abstract要約: Mini-BARは、英語とフランス語の両方でユーザーレビューのゼロショットマイニングを実行するために、大きな言語モデル(LLM)を統合するツールである。 Mini-BARの性能を評価するために、6,000の英語と6000のフランス語の注釈付きユーザレビューを含むデータセットを作成しました。
参考スコア（独自算出の注目度）: 0.7340017786387767
License: http://creativecommons.org/licenses/by/4.0/
Abstract: App reviews from app stores are crucial for improving software requirements. A large number of valuable reviews are continually being posted, describing software problems and expected features. Effectively utilizing user reviews necessitates the extraction of relevant information, as well as their subsequent summarization. Due to the substantial volume of user reviews, manual analysis is arduous. Various approaches based on natural language processing (NLP) have been proposed for automatic user review mining. However, the majority of them requires a manually crafted dataset to train their models, which limits their usage in real-world scenarios. In this work, we propose Mini-BAR, a tool that integrates large language models (LLMs) to perform zero-shot mining of user reviews in both English and French. Specifically, Mini-BAR is designed to (i) classify the user reviews, (ii) cluster similar reviews together, (iii) generate an abstractive summary for each cluster and (iv) rank the user review clusters. To evaluate the performance of Mini-BAR, we created a dataset containing 6,000 English and 6,000 French annotated user reviews and conducted extensive experiments. Preliminary results demonstrate the effectiveness and efficiency of Mini-BAR in requirement engineering by analyzing bilingual app reviews. (Replication package containing the code, dataset, and experiment setups on https://github.com/Jl-wei/mini-bar )
Abstract（参考訳）: app storeのアプリレビューは、ソフトウェア要件の改善に不可欠です。多くの価値あるレビューが継続的に投稿され、ソフトウェアの問題と期待される機能を説明しています。ユーザレビューを効果的に活用するには、関連する情報の抽出とその後の要約が必要である。ユーザーレビューのかなりの量のため、手動分析は困難である。自然言語処理(NLP)に基づく様々な手法が,自動ユーザレビューマイニングのために提案されている。しかし、その大半は、実世界のシナリオでの使用を制限するために、モデルトレーニングのために手作業によるデータセットを必要としている。本研究では,大規模言語モデル(llm)を統合し,英語とフランス語のユーザレビューをゼロショットマイニングするツールであるmini-barを提案する。特にMini-BARは (i)ユーザーレビューを分類する。 (ii)類似のレビューをまとめる。 (iii)クラスタごとに抽象的な要約を生成し、 (iv) ユーザレビュークラスタをランク付けする。 Mini-BARの性能を評価するために、6,000の英語と6000のフランス語の注釈付きユーザレビューを含むデータセットを作成し、広範な実験を行った。バイリンガルアプリレビューの分析により,要件工学におけるMini-BARの有効性と効率を実証した。 (https://github.com/Jl-wei/mini-bar のコード、データセット、実験設定を含むレプリケーションパッケージ)

関連論文リスト

UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
論文参考訳（メタデータ） (2023-10-02T17:40:01Z)
Can GitHub Issues Help in App Review Classifications? [0.7366405857677226]
GitHubイシューから抽出した情報を活用することでラベル付きデータセットの拡張を支援する新しいアプローチを提案する。以上の結果から,データ拡張にラベル付き問題を用いることで,F1スコアが6.3,機能要求が7.2に向上することが示された。
論文参考訳（メタデータ） (2023-08-27T22:01:24Z)
XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.54207724678767]
データ不足は、多言語NLPシステムの開発において重要な問題である。我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
論文参考訳（メタデータ） (2023-05-19T18:00:03Z)
Evaluating the Effectiveness of Pre-trained Language Models in Predicting the Helpfulness of Online Product Reviews [0.21485350418225244]
オンライン製品レビューの有用性を予測するため,RoBERTaとXLM-R言語モデルの比較を行った。実験にはAmazonレビューデータセットを使用します。
論文参考訳（メタデータ） (2023-02-19T18:22:59Z)
Towards a Data-Driven Requirements Engineering Approach: Automatic Analysis of User Reviews [0.440401067183266]
我々は,フランス語の最先端言語モデルであるCamemBERTを用いて,自動解析を行う。私たちはHealth & Fitness分野の3つのアプリケーションから6000のユーザレビューのマルチラベル分類データセットを作成しました。結果は推奨され、新機能の要求に関するレビューを自動的に識別することが可能になることを示唆している。
論文参考訳（メタデータ） (2022-06-29T14:14:54Z)
ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented Visual Models [102.63817106363597]
ELEVATERは、事前訓練された言語拡張ビジュアルモデルの比較と評価を行う最初のベンチマークである。 20の画像分類データセットと35のオブジェクト検出データセットで構成され、それぞれが外部知識で拡張されている。研究コミュニティ向けのツールキットと評価プラットフォームをリリースします。
論文参考訳（メタデータ） (2022-04-19T10:23:42Z)
Learning Opinion Summarizers by Selecting Informative Reviews [81.47506952645564]
31,000以上の製品のユーザレビューと組み合わせた大規模な要約データセットを収集し、教師付きトレーニングを可能にします。多くのレビューの内容は、人間が書いた要約には反映されず、したがってランダムなレビューサブセットで訓練された要約者は幻覚する。我々は、これらのサブセットで表現された意見を要約し、レビューの情報的サブセットを選択するための共同学習としてタスクを定式化する。
論文参考訳（メタデータ） (2021-09-09T15:01:43Z)
Transfer Learning for Mining Feature Requests and Bug Reports from Tweets and App Store Reviews [4.446419663487345]
既存のアプローチでは、リコールと許容精度の高い機能要求やバグレポートの検出に失敗している。我々は単言語と多言語の両方のBERTモデルを訓練し、その性能を最先端の手法と比較する。
論文参考訳（メタデータ） (2021-08-02T06:51:13Z)
Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
論文参考訳（メタデータ） (2020-04-21T16:54:57Z)
ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension [53.037401638264235]
我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
論文参考訳（メタデータ） (2019-12-29T07:27:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。