Fugu-MT 論文翻訳(概要): Leveraging Large Language Models for Classifying App Users' Feedback

論文の概要: Leveraging Large Language Models for Classifying App Users' Feedback

arxiv url: http://arxiv.org/abs/2507.08250v1
Date: Fri, 11 Jul 2025 01:33:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-14 18:03:54.216478
Title: Leveraging Large Language Models for Classifying App Users' Feedback
Title（参考訳）: アプリのユーザのフィードバックを分類する大規模言語モデルを活用する
Authors: Yasaman Abedini, Abbas Heydarnoori,
Abstract要約: 我々は,GPT-3.5-Turbo,GPT-4,Flan-T5,Llama3-70bの4つの高度なLCMの能力を評価し,ユーザフィードバックの分類を強化した。提案手法は,ユーザからのフィードバックを粗いカテゴリに効果的に分類できることを示す。
参考スコア（独自算出の注目度）: 0.7366405857677226
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In recent years, significant research has been conducted into classifying application (app) user feedback, primarily relying on supervised machine learning algorithms. However, fine-tuning more generalizable classifiers based on existing labeled datasets remains an important challenge, as creating large and accurately labeled datasets often requires considerable time and resources. In this paper, we evaluate the capabilities of four advanced LLMs, including GPT-3.5-Turbo, GPT-4, Flan-T5, and Llama3-70b, to enhance user feedback classification and address the challenge of the limited labeled dataset. To achieve this, we conduct several experiments on eight datasets that have been meticulously labeled in prior research. These datasets include user reviews from app stores, posts from the X platform, and discussions from the public forums, widely recognized as representative sources of app user feedback. We analyze the performance of various LLMs in identifying both fine-grained and coarse-grained user feedback categories. Given the substantial volume of daily user feedback and the computational limitations of LLMs, we leverage these models as an annotation tool to augment labeled datasets with general and app-specific data. This augmentation aims to enhance the performance of state-of-the-art BERT-based classification models. Our findings indicate that LLMs when guided by well-crafted prompts, can effectively classify user feedback into coarse-grained categories. Moreover, augmenting the training dataset with datasets labeled using the consensus of LLMs can significantly enhance classifier performance.
Abstract（参考訳）: 近年,アプリケーション(アプリケーション)ユーザフィードバックの分類において,主に教師付き機械学習アルゴリズムに依存する重要な研究が行われている。しかし、既存のラベル付きデータセットをベースとしたより微調整可能な分類器は、大きく正確にラベル付けされたデータセットを作成するのにかなりの時間とリソースを必要とするため、依然として重要な課題である。本稿では,GPT-3.5-Turbo,GPT-4,Flan-T5,Llama3-70bの4つの高度なLCMの能力を評価し,ユーザフィードバックの分類を強化し,限定ラベル付きデータセットの課題に対処する。これを実現するために,先行研究で慎重にラベル付けされた8つのデータセットについて,いくつかの実験を行った。これらのデータセットには、アプリストアからのユーザレビュー、Xプラットフォームからの投稿、公開フォーラムからの議論が含まれており、アプリのユーザフィードバックの代表的ソースとして広く認識されている。細粒度と粗粒度の両方のユーザフィードバックカテゴリを識別する際の各種LLMの性能を解析する。 LLMの膨大な量のユーザフィードバックと計算上の制限を考慮に入れた上で,これらのモデルをアノテーションツールとして活用し,一般的なデータとアプリ固有のデータによるラベル付きデータセットの強化を行う。この拡張は、最先端のBERTベースの分類モデルの性能を高めることを目的としている。提案手法は,ユーザからのフィードバックを粗いカテゴリに効果的に分類できることを示す。さらに、LLMのコンセンサスを用いてラベル付けされたデータセットでトレーニングデータセットを拡張することで、分類器のパフォーマンスを大幅に向上させることができる。

関連論文リスト

From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
論文参考訳（メタデータ） (2025-02-17T12:58:17Z)
Learning to Verify Summary Facts with Fine-Grained LLM Feedback [15.007479147796403]
自動要約事実検証の訓練は、人間がラベル付けしたデータの不足という課題に直面していることが多い。本研究では,要約に関する詳細な事実フィードバックを含む大規模データセットであるFineSumFactを紹介する。
論文参考訳（メタデータ） (2024-12-14T05:28:44Z)
Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
論文参考訳（メタデータ） (2024-10-31T06:55:24Z)
Learning to Predict Usage Options of Product Reviews with LLM-Generated Labels [14.006486214852444]
複雑な自然言語タスクにおけるデータアノテートのための,少人数の学習者としてLLMを使用する手法を提案する。カスタムモデルを学ぶことは、エネルギー効率とプライバシー対策を個別に制御する。結果のデータの質が、サードパーティのベンダーサービスによって達成されたレベルを超えていることに気付きました。
論文参考訳（メタデータ） (2024-10-16T11:34:33Z)
Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
論文参考訳（メタデータ） (2024-08-07T04:20:28Z)
Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
論文参考訳（メタデータ） (2024-02-21T00:44:04Z)
Can LLMs Augment Low-Resource Reading Comprehension Datasets? Opportunities and Challenges [3.130575840003799]
GPT-4は、既存の読解データセットを強化するために使用できる。この研究は、QAシステムのための合成データ拡張器としてLLMを初めて分析した。
論文参考訳（メタデータ） (2023-09-21T18:48:02Z)
Large Language Models as Data Preprocessors [9.99065004972981]
大規模言語モデル (LLM) は人工知能において大きな進歩を遂げている。本研究では、データマイニングおよび分析アプリケーションにおいて重要な段階である、データ前処理におけるその可能性について検討する。我々は,最先端のプロンプトエンジニアリング技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
論文参考訳（メタデータ） (2023-08-30T23:28:43Z)
AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文参考訳（メタデータ） (2023-03-29T17:03:21Z)
DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文参考訳（メタデータ） (2022-07-20T17:47:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。