論文の概要: Redefining Crowdsourced Test Report Prioritization: An Innovative Approach with Large Language Model

• arxiv url: http://arxiv.org/abs/2411.17045v1
• Date: Tue, 26 Nov 2024 02:23:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:42.949446
• Title: Redefining Crowdsourced Test Report Prioritization: An Innovative Approach with Large Language Model
• Title（参考訳）: クラウドソーシングテストレポートの優先順位付けを再定義する: 大規模言語モデルによる革新的アプローチ
• Authors: Yuchen Ling, Shengcheng Yu, Chunrong Fang, Guobin Pan, Jun Wang, Jia Liu,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を用いたクラウドソーステストレポートの優先順位付け手法であるLLMPriorを紹介する。 この結果から,LLMPriorは現在の最先端のアプローチに勝るだけでなく,実用性,効率,信頼性も高いことが示唆された。
• 参考スコア（独自算出の注目度）: 13.980850130657208
• License:
• Abstract: Context: Crowdsourced testing has gained popularity in software testing, especially for mobile app testing, due to its ability to bring diversity and tackle fragmentation issues. However, the openness of crowdsourced testing presents challenges, particularly in the manual review of numerous test reports, which is time-consuming and labor-intensive. Objective: The primary goal of this research is to improve the efficiency of review processes in crowdsourced testing. Traditional approaches to test report prioritization lack a deep understanding of semantic information in textual descriptions of these reports. This paper introduces LLMPrior, a novel approach for prioritizing crowdsourced test reports using large language models (LLMs). Method: LLMPrior leverages LLMs for the analysis and clustering of crowdsourced test reports based on the types of bugs revealed in their textual descriptions. This involves using prompt engineering techniques to enhance the performance of LLMs. Following the clustering, a recurrent selection algorithm is applied to prioritize the reports. Results: Empirical experiments are conducted to evaluate the effectiveness of LLMPrior. The findings indicate that LLMPrior not only surpasses current state-of-the-art approaches in terms of performance but also proves to be more feasible, efficient, and reliable. This success is attributed to the use of prompt engineering techniques and the cluster-based prioritization strategy. Conclusion: LLMPrior represents a significant advancement in crowdsourced test report prioritization. By effectively utilizing large language models and a cluster-based strategy, it addresses the challenges in traditional prioritization approaches, offering a more efficient and reliable solution for app developers dealing with crowdsourced test reports.
• Abstract（参考訳）: コンテキスト: クラウドソーシングテストはソフトウェアテスト、特にモバイルアプリテストで人気を集めている。 しかし、クラウドソーステストのオープン性は、特に時間と労働集約的な多くのテストレポートのマニュアルレビューにおいて、課題を呈している。 目的: この研究の第一の目的は、クラウドソーステストにおけるレビュープロセスの効率を改善することである。 従来のテストレポート優先順位付け手法では、これらのレポートのテキスト記述における意味情報の深い理解が欠如している。 本稿では,大規模言語モデル(LLM)を用いたクラウドソーステストレポートの優先順位付け手法であるLLMPriorを紹介する。 メソッド:LLMPriorは、テキスト記述で明らかになったバグの種類に基づいて、クラウドソーステストレポートの分析とクラスタリングにLLMを利用する。 これは、LLMの性能を高めるために、迅速なエンジニアリング技術を使用する。 クラスタリングの後、リカレント選択アルゴリズムを適用してレポートを優先順位付けする。 結果:LLMPriorの有効性を評価する実験を行った。 この結果から,LLMPriorは現在の最先端のアプローチに勝るだけでなく,実用性,効率,信頼性も高いことが示唆された。 この成功は、迅速なエンジニアリング技術とクラスタベースの優先順位付け戦略の使用によるものである。 結論:LLMPriorはクラウドソーシングテストレポートの優先順位付けにおいて大きな進歩を示している。 大規模な言語モデルとクラスタベースの戦略を効果的に活用することにより、従来の優先順位付けアプローチの課題に対処し、クラウドソーステストレポートを扱うアプリ開発者にとってより効率的で信頼性の高いソリューションを提供する。

関連論文リスト

• Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
  AoPS-Instructは60,000以上の高品質QAペアのデータセットである。 LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。 我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
  論文  参考訳（メタデータ） (2025-01-24T06:39:38Z)
• Test Wars: A Comparative Study of SBST, Symbolic Execution, and LLM-Based Approaches to Unit Test Generation [11.037212298533069]
  大規模言語モデル(LLM)は、自動テストを生成する新しい機会を開いた。 本稿では,SBSTのEvoSuite,シンボル実行のKex,LLMベースのテスト生成のTestSparkという3つのツールを用いた自動テスト生成手法について検討する。 以上の結果から,LSMベースのテスト生成は有望であるが,従来の手法には及ばないことがわかった。
  論文  参考訳（メタデータ） (2025-01-17T13:48:32Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Skill-Adpative Imitation Learning for UI Test Reuse [13.538724823517292]
  UIテストマイグレーションの有効性を高めるために,スキル適応型模倣学習フレームワークを提案する。 その結果、SAILはUIテストマイグレーションの有効性を大幅に改善し、149%の成功率が最先端のアプローチよりも高いことがわかった。
  論文  参考訳（メタデータ） (2024-09-20T08:13:04Z)
• Active Testing of Large Language Model via Multi-Stage Sampling [17.89896012553348]
  AcTracerは,大規模言語モデル(LLM)に適した,アクティブなテストフレームワークである。 ほぼ最適な性能推定を達成するために、戦略的にテストデータの小さなサブセットを選択する。 実験の結果,AcTracerは既存手法と比較して最先端の性能を達成できた。
  論文  参考訳（メタデータ） (2024-08-07T06:17:48Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  LLM(Large Language Models)を用いたプロンプトベースの手法の開発には、多くの意思決定が必要である。 この課題に対処するための新しい手法を提案する。 典型的に必要とされるリソースの5～15%しか必要とせず,トップパフォーマンスの手法を識別できることが示される。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• On the Evaluation of Large Language Models in Unit Test Generation [16.447000441006814]
  単体テストは、ソフトウェアコンポーネントの正しさを検証するために、ソフトウェア開発において不可欠な活動である。 LLM(Large Language Models)の出現は、ユニットテスト生成を自動化するための新しい方向性を提供する。
  論文  参考訳（メタデータ） (2024-06-26T08:57:03Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• ReSLLM: Large Language Models are Strong Resource Selectors for Federated Search [35.44746116088232]
  フェデレーション検索は、Retrieval-Augmented Generationパイプラインのコンテキストにおいて、ますます重要になる。 現在のSOTA資源選択手法は特徴に基づく学習手法に依存している。 ゼロショット環境でのフェデレーション検索における資源選択を促進するために,ReSLLMを提案する。
  論文  参考訳（メタデータ） (2024-01-31T07:58:54Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。