論文の概要: Skill-Adpative Imitation Learning for UI Test Reuse
- arxiv url: http://arxiv.org/abs/2409.13311v1
- Date: Fri, 20 Sep 2024 08:13:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 07:51:11.308953
- Title: Skill-Adpative Imitation Learning for UI Test Reuse
- Title(参考訳): UIテスト再利用のためのスキル適応型模倣学習
- Authors: Mengzhou Wu, Hao Wang, Jun Ren, Yuan Cao, Yuetong Li, Alex Jiang, Dezhi Ran, Yitao Hu, Wei Yang, Tao Xie,
- Abstract要約: UIテストマイグレーションの有効性を高めるために,スキル適応型模倣学習フレームワークを提案する。
その結果、SAILはUIテストマイグレーションの有効性を大幅に改善し、149%の成功率が最先端のアプローチよりも高いことがわかった。
- 参考スコア(独自算出の注目度): 13.538724823517292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To alleviate the substantial cost of manually crafting user interface (UI) test cases, UI test migration aims to automatically generate test cases for a target mobile application (app) by adapting those from a source app that shares similar functionalities. Traditionally, this process has been approached as a sequential UI-event-mapping problem, where events in the source app are mapped to those in the target one based on their textual descriptions. Prior research has extensively focused on enhancing the event-mapping accuracy of NLP models. Although the advent of large language models (LLMs) with impressive NLP capabilities suggests the potential for near-perfect event-mapping, our study demonstrates that even the highly accurate event-mapping of LLMs is insufficient to address the implementation discrepancies between the source and the target apps, reducing the overall effectiveness of LLM-driven solutions for UI test migration. To address this challenge, in this paper, we propose SAIL, a skill-adaptive imitation learning framework designed to enhance the effectiveness of UI test migration through two key designs. First, SAIL leverages the source test cases as demonstrations and employs a multi-level abstraction of test cases' underlying skills, so as to extract the testing information from source test cases as the knowledge base for the subsequent test generation on the target app. Second, SAIL selectively reuses a subset of the learned skills to guide the generation of test cases for the target app with its novel context- and history-aware skill adaptation. While SAIL can be instantiated with any imitation learning techniques, we utilize the in-context learning capabilities of LLMs to instantiate SAIL. Evaluations results show that SAIL substantially improves the effectiveness of UI test migration, with 149\% higher success rate than state-of-the-art approaches.
- Abstract(参考訳): ユーザインターフェース(UI)テストケースを手作業で作成するコストを軽減するため、UIテストマイグレーションは、同様の機能を持つソースアプリから、ターゲットとするモバイルアプリケーション(アプリ)のテストケースを自動的に生成することを目的としている。
従来、このプロセスは、ソースアプリのイベントをテキスト記述に基づいてターゲットアプリのイベントにマッピングする、シーケンシャルなUIイベントマッピング問題としてアプローチされてきた。
これまでの研究は、NLPモデルのイベントマッピング精度の向上に重点を置いてきた。
NLP機能を備えた大規模言語モデル(LLM)の出現は、ほぼ完璧なイベントマッピングの可能性を示しているが、我々の研究は、LLMの高精度なイベントマッピングでさえ、ソースとターゲットアプリ間の実装の相違に対処するには不十分であり、UIテストマイグレーションのためのLLM駆動ソリューションの全体的な効果を低下させることを示した。
そこで本研究では,2つの鍵となる設計によるUIテストマイグレーションの有効性向上を目的とした,スキル適応型模倣学習フレームワークSAILを提案する。
まず、SAILは、ソーステストケースをデモとして活用し、テストケースの基礎となるスキルを多レベルに抽象化し、ソーステストケースからテスト情報を抽出して、ターゲットアプリ上でのテスト生成の知識ベースとする。
第2に、SAILは学習したスキルのサブセットを選択的に再利用し、新しいコンテキストおよび履歴認識スキル適応を用いて、ターゲットアプリのテストケースの生成を誘導する。
SAILは任意の模倣学習技術でインスタンス化できるが、LLMのテキスト内学習機能を利用してSAILをインスタンス化する。
評価の結果、SAILはUIテストマイグレーションの有効性を大幅に改善し、最先端のアプローチよりも149\%高い成功率を示した。
関連論文リスト
- Redefining Crowdsourced Test Report Prioritization: An Innovative Approach with Large Language Model [13.980850130657208]
本稿では,大規模言語モデル(LLM)を用いたクラウドソーステストレポートの優先順位付け手法であるLLMPriorを紹介する。
この結果から,LLMPriorは現在の最先端のアプローチに勝るだけでなく,実用性,効率,信頼性も高いことが示唆された。
論文 参考訳(メタデータ) (2024-11-26T02:23:30Z) - BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
本稿では,テスト時間適応フレームワークを提案する。
我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。
理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
論文 参考訳(メタデータ) (2024-10-20T15:58:43Z) - Enabling Cost-Effective UI Automation Testing with Retrieval-Based LLMs: A Case Study in WeChat [8.80569452545511]
機械学習と大規模言語モデルを組み合わせることで、業界アプリケーションのためのコスト効率の良いUI自動化テストを作成するために、CATを導入します。
次にCATは機械学習技術を採用し、LLMを補完として、ターゲット要素をUI画面にマップする。
WeChatテストデータセットの評価では、CATのパフォーマンスとコスト効率が示され、90%のUI自動化と0.34ドルのコストが達成されました。
論文 参考訳(メタデータ) (2024-09-12T08:25:33Z) - MILE: A Mutation Testing Framework of In-Context Learning Systems [5.419884861365132]
ICLシステムにおけるテストデータの品質と有効性を特徴付けるための突然変異試験フレームワークを提案する。
まず、ICLの実証に特化しているいくつかの突然変異演算子と、ICLテストセットに対応する突然変異スコアを提案する。
総合的な実験により、ICLテストスイートの信頼性と品質を評価する上で、我々のフレームワークの有効性を示す。
論文 参考訳(メタデータ) (2024-09-07T13:51:42Z) - RETAIN: Interactive Tool for Regression Testing Guided LLM Migration [8.378294455013284]
RETAIN(Regression Testing Guided LLM migrAtIoN)は、LLMマイグレーションにおける回帰テスト用に明示的に設計されたツールである。
自動評価と経験的ユーザスタディにより、RETAINは手動による評価と比較して、参加者が2倍のエラーを識別し、75%以上のプロンプトで実験し、与えられた時間枠で12%高いスコアを得ることができた。
論文 参考訳(メタデータ) (2024-09-05T22:22:57Z) - Active Testing of Large Language Model via Multi-Stage Sampling [17.89896012553348]
AcTracerは,大規模言語モデル(LLM)に適した,アクティブなテストフレームワークである。
ほぼ最適な性能推定を達成するために、戦略的にテストデータの小さなサブセットを選択する。
実験の結果,AcTracerは既存手法と比較して最先端の性能を達成できた。
論文 参考訳(メタデータ) (2024-08-07T06:17:48Z) - Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。
本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。
本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
論文 参考訳(メタデータ) (2024-07-26T17:51:58Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳(メタデータ) (2024-06-07T11:37:45Z) - Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。
これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。
既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
論文 参考訳(メタデータ) (2024-05-25T08:23:05Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
大規模事前学習は計算コストが高い。
事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。
本稿では,MC-BERTというメタラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-10T09:22:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。