Fugu-MT 論文翻訳(概要): Enabling Cost-Effective UI Automation Testing with Retrieval-Based LLMs: A Case Study in WeChat

論文の概要: Enabling Cost-Effective UI Automation Testing with Retrieval-Based LLMs: A Case Study in WeChat

arxiv url: http://arxiv.org/abs/2409.07829v1
Date: Thu, 12 Sep 2024 08:25:33 GMT
ステータス: 処理完了
システム内更新日: 2024-09-13 17:18:01.292202
Title: Enabling Cost-Effective UI Automation Testing with Retrieval-Based LLMs: A Case Study in WeChat
Title（参考訳）: 検索型LLMを用いたコスト効果UI自動化テストの実現:WeChatを事例として
Authors: Sidong Feng, Haochuan Lu, Jianqin Jiang, Ting Xiong, Likun Huang, Yinglin Liang, Xiaoqin Li, Yuetang Deng, Aldeida Aleti,
Abstract要約: 機械学習と大規模言語モデルを組み合わせることで、業界アプリケーションのためのコスト効率の良いUI自動化テストを作成するために、CATを導入します。次にCATは機械学習技術を採用し、LLMを補完として、ターゲット要素をUI画面にマップする。 WeChatテストデータセットの評価では、CATのパフォーマンスとコスト効率が示され、90%のUI自動化と0.34ドルのコストが達成されました。
参考スコア（独自算出の注目度）: 8.80569452545511
License: http://creativecommons.org/licenses/by/4.0/
Abstract: UI automation tests play a crucial role in ensuring the quality of mobile applications. Despite the growing popularity of machine learning techniques to generate these tests, they still face several challenges, such as the mismatch of UI elements. The recent advances in Large Language Models (LLMs) have addressed these issues by leveraging their semantic understanding capabilities. However, a significant gap remains in applying these models to industrial-level app testing, particularly in terms of cost optimization and knowledge limitation. To address this, we introduce CAT to create cost-effective UI automation tests for industry apps by combining machine learning and LLMs with best practices. Given the task description, CAT employs Retrieval Augmented Generation (RAG) to source examples of industrial app usage as the few-shot learning context, assisting LLMs in generating the specific sequence of actions. CAT then employs machine learning techniques, with LLMs serving as a complementary optimizer, to map the target element on the UI screen. Our evaluations on the WeChat testing dataset demonstrate the CAT's performance and cost-effectiveness, achieving 90% UI automation with $0.34 cost, outperforming the state-of-the-art. We have also integrated our approach into the real-world WeChat testing platform, demonstrating its usefulness in detecting 141 bugs and enhancing the developers' testing process.
Abstract（参考訳）: UI自動化テストは、モバイルアプリケーションの品質を保証する上で重要な役割を果たす。これらのテストを生成する機械学習技術の普及にもかかわらず、UI要素のミスマッチなど、いくつかの課題に直面している。大規模言語モデル(LLM)の最近の進歩は、それらの意味理解能力を活用することでこれらの問題に対処している。しかしながら、これらのモデルを産業レベルのアプリテストに適用する上で、特にコスト最適化と知識制限の観点から、大きなギャップが残っている。これを解決するために、機械学習とLLMをベストプラクティスと組み合わせて、業界アプリのための費用対効果の高いUI自動化テストを作成するために、CATを導入します。タスク記述を前提として、CATはRetrieval Augmented Generation(RAG)を使用して、産業アプリケーションの使用例を数ショットの学習コンテキストとして公開し、特定のアクションシーケンスを生成するLLMを支援する。 CATは機械学習技術を採用し、LLMは補完的なオプティマイザとして機能し、ターゲット要素をUI画面にマップする。 WeChatテストデータセットの評価は、CATのパフォーマンスとコスト効率を示し、90%のUI自動化を0.34ドルのコストで達成し、最先端よりも優れています。また、我々のアプローチを現実世界のWeChatテストプラットフォームに統合し、141のバグを検出し、開発者のテストプロセスを強化することで、その有用性を実証しました。

関連論文リスト

PentestAgent: Incorporating LLM Agents to Automated Penetration Testing [6.815381197173165]
手動浸透試験は時間と費用がかかる。大規模言語モデル(LLM)の最近の進歩は、浸透テストを強化する新たな機会を提供する。我々は,新しいLLMベースの自動浸透試験フレームワークであるPentestAgentを提案する。
論文参考訳（メタデータ） (2024-11-07T21:10:39Z)
AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
論文参考訳（メタデータ） (2024-11-02T13:24:30Z)
Skill-Adpative Imitation Learning for UI Test Reuse [13.538724823517292]
UIテストマイグレーションの有効性を高めるために,スキル適応型模倣学習フレームワークを提案する。その結果、SAILはUIテストマイグレーションの有効性を大幅に改善し、149%の成功率が最先端のアプローチよりも高いことがわかった。
論文参考訳（メタデータ） (2024-09-20T08:13:04Z)
Automated Text Scoring in the Age of Generative AI for the GPU-poor [49.1574468325115]
自動テキストスコアリングのためのオープンソースの小規模生成言語モデルの性能と効率を解析する。以上の結果から, GLMは, 最先端の高性能化には至らず, 適正な調整が可能であることが示唆された。
論文参考訳（メタデータ） (2024-07-02T01:17:01Z)
Test Oracle Automation in the era of LLMs [52.69509240442899]
大規模言語モデル(LLM)は、多様なソフトウェアテストタスクに取り組むのに顕著な能力を示した。本研究の目的は, 各種のオラクル生成時に生じる課題とともに, LLMs によるオラクルの自動化の可能性について検討することである。
論文参考訳（メタデータ） (2024-05-21T13:19:10Z)
Automating REST API Postman Test Cases Using LLM [0.0]
本稿では,大規模言語モデルを用いたテストケースの自動生成手法の探索と実装について述べる。この方法論は、テストケース生成の効率性と有効性を高めるために、Open AIの使用を統合する。この研究で開発されたモデルは、手作業で収集したポストマンテストケースやさまざまなRest APIのインスタンスを使ってトレーニングされている。
論文参考訳（メタデータ） (2024-04-16T15:53:41Z)
LLM for Test Script Generation and Migration: Challenges, Capabilities, and Opportunities [8.504639288314063]
テストスクリプト生成はソフトウェアテストの重要なコンポーネントであり、反復的なテストタスクの効率的かつ信頼性の高い自動化を可能にする。既存の世代のアプローチは、さまざまなデバイス、プラットフォーム、アプリケーション間でテストスクリプトを正確にキャプチャし、再現することの難しさなど、しばしば制限に直面する。本稿では,モバイルアプリケーションテストスクリプト生成分野における大規模言語モデル(LLM)の適用について検討する。
論文参考訳（メタデータ） (2023-09-24T07:58:57Z)
OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文参考訳（メタデータ） (2023-05-24T10:08:04Z)
Benchmarking Automated Machine Learning Methods for Price Forecasting Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。 CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文参考訳（メタデータ） (2023-04-28T10:27:38Z)
ALBench: A Framework for Evaluating Active Learning in Object Detection [102.81795062493536]
本稿では、オブジェクト検出におけるアクティブラーニングを評価するために、ALBenchという名前のアクティブラーニングベンチマークフレームワークをコントリビュートする。自動深層モデルトレーニングシステム上で開発されたこのALBenchフレームワークは、使いやすく、さまざまなアクティブな学習アルゴリズムと互換性があり、同じトレーニングおよびテストプロトコルを保証する。
論文参考訳（メタデータ） (2022-07-27T07:46:23Z)
The Integration of Machine Learning into Automated Test Generation: A Systematic Mapping Study [15.016047591601094]
我々は、新しい研究、テストプラクティス、研究者の目標、適用されたML技術、評価、課題を特徴づける。 MLはシステム、GUI、ユニット、パフォーマンス、テストのための入力を生成したり、既存の生成メソッドのパフォーマンスを改善したりする。
論文参考訳（メタデータ） (2022-06-21T09:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。