論文の概要: Enhancing Testing at Meta with Rich-State Simulated Populations
- arxiv url: http://arxiv.org/abs/2403.15374v1
- Date: Fri, 22 Mar 2024 17:54:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 16:30:34.393818
- Title: Enhancing Testing at Meta with Rich-State Simulated Populations
- Title(参考訳): Rich-State Simulated Populationsによるメタテストの強化
- Authors: Nadia Alshahwan, Arianna Blasi, Kinga Bojarczuk, Andrea Ciancone, Natalija Gucevska, Mark Harman, Simon Schellaert, Inna Harper, Yue Jia, Michał Królikowski, Will Lewis, Dragos Martac, Rubmary Rojas, Kate Ustiuzhanina,
- Abstract要約: 本稿では,自動および手動テストのためのMetaにおけるRich-State Simulated Populationsの展開結果について報告する。
ユーザインタラクションを模倣し、実際のユーザアカウントが状態を取得するのと同じように、状態を取得するために、シミュレートされたユーザ(別名テストユーザ)を使用します。
自動テストでは、Facebook、Messenger、iOSおよびAndroidプラットフォーム向けのInstagramアプリへのデプロイによる経験的な結果を提示します。
- 参考スコア(独自算出の注目度): 9.08784785050728
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper reports the results of the deployment of Rich-State Simulated Populations at Meta for both automated and manual testing. We use simulated users (aka test users) to mimic user interactions and acquire state in much the same way that real user accounts acquire state. For automated testing, we present empirical results from deployment on the Facebook, Messenger, and Instagram apps for iOS and Android Platforms. These apps consist of tens of millions of lines of code, communicating with hundreds of millions of lines of backend code, and are used by over 2 billion people every day. Our results reveal that rich state increases average code coverage by 38\%, and endpoint coverage by 61\%. More importantly, it also yields an average increase of 115\% in the faults found by automated testing. The rich-state test user populations are also deployed in a (continually evolving) Test Universe; a web-enabled simulation platform for privacy-safe manual testing, which has been used by over 21,000 Meta engineers since its deployment in November 2022.
- Abstract(参考訳): 本稿では,自動および手動テストのためのMetaにおけるRich-State Simulated Populationsの展開結果について報告する。
ユーザインタラクションを模倣し、実際のユーザアカウントが状態を取得するのと同じように、状態を取得するために、シミュレートされたユーザ(別名テストユーザ)を使用します。
自動テストでは、Facebook、Messenger、iOSおよびAndroidプラットフォーム向けのInstagramアプリへのデプロイによる経験的な結果を提示します。
これらのアプリは数千万行のコードで構成され、数億行のバックエンドコードと通信し、毎日20億人以上の人々が使っている。
その結果、リッチな状態は平均コードカバレッジを38 %、エンドポイントカバレッジを61 %増加させます。
さらに重要なのは、自動テストで見つかった欠陥の115\%が平均的に増加することだ。
リッチステートテストのユーザ人口は,2022年11月のデプロイ以来,21,000人を越えるMetaエンジニアが使用している,プライバシセーフな手動テストのためのWeb対応シミュレーションプラットフォームであるTest Universeにもデプロイされている(継続的に進化している)。
関連論文リスト
- WEFix: Intelligent Automatic Generation of Explicit Waits for Efficient
Web End-to-End Flaky Tests [13.280540531582945]
Web e2e テストにおいて UI ベースのフレキネスの修正コードを自動生成する技術である WEFix を提案する。
We evaluate the effective and efficiency of WEFix against 122 web e2e flaky tests from 7 popular real-world projects。
論文 参考訳(メタデータ) (2024-02-15T06:51:53Z) - Automated Unit Test Improvement using Large Language Models at Meta [44.87533111512982]
本稿では,LLMを用いたMetaのTestGen-LLMツールについて述べる。
InstagramとFacebookプラットフォームのMetaテストアソンにおけるTestGen-LLMのデプロイについて説明する。
論文 参考訳(メタデータ) (2024-02-14T13:43:14Z) - Observation-based unit test generation at Meta [52.4716552057909]
TestGenは、アプリケーション実行中に観察された複雑なオブジェクトのシリアライズされた観察から作られたユニットテストを自動的に生成する。
TestGenは518のテストを本番環境に投入し、継続的統合で9,617,349回実行され、5,702の障害が見つかった。
評価の結果,信頼性の高い4,361のエンドツーエンドテストから,少なくとも86%のクラスでテストを生成することができた。
論文 参考訳(メタデータ) (2024-02-09T00:34:39Z) - Neural Embeddings for Web Testing [49.66745368789056]
既存のクローラは、状態等価性を評価するために、アプリ固有のしきい値ベースのアルゴリズムに依存している。
ニューラルネットワークの埋め込みとしきい値のない分類器に基づく新しい抽象関数WEBEMBEDを提案する。
WEBEMBEDは,9つのWebアプリケーションに対する評価の結果,近距離検出により最先端技術よりも精度が高いことがわかった。
論文 参考訳(メタデータ) (2023-06-12T19:59:36Z) - Chatting with GPT-3 for Zero-Shot Human-Like Mobile Automated GUI
Testing [23.460051600514806]
GPTDroid を提案し,GUI ページ情報を LLM に渡してテストスクリプトを抽出することにより,大規模言語モデルにモバイルアプリとのチャットを依頼する。
そこで我々はGUIページの静的コンテキストと反復テストプロセスの動的コンテキストを抽出する。
Google Playの86のアプリ上でGPTDroidを評価し、そのアクティビティカバレッジは71%で、最高のベースラインよりも32%高く、最高のベースラインよりも高速で36%多くのバグを検出することができます。
論文 参考訳(メタデータ) (2023-05-16T13:46:52Z) - An Empirical Evaluation of Using Large Language Models for Automated
Unit Test Generation [3.9762912548964864]
本稿では,自動単体テスト生成における大規模言語モデルの有効性について,大規模な実証評価を行った。
これはJavaScript用のテスト生成ツールで、npmパッケージ内のすべてのAPI関数のユニットテストを自動的に生成します。
TestPilotの生成されたテストの92.8%は、既存のテストと50%以上の類似性を持っていない。
論文 参考訳(メタデータ) (2023-02-13T17:13:41Z) - Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。
自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。
言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
論文 参考訳(メタデータ) (2022-08-11T17:41:08Z) - Using Sampling to Estimate and Improve Performance of Automated Scoring
Systems with Guarantees [63.62448343531963]
本稿では,既存のパラダイムを組み合わせることで,人間が知能的に収集する応答をサンプリングする手法を提案する。
比較的少ない予算で精度(平均19.80%)と二次重み付きカッパ(平均25.60%)の顕著な増加を観察した。
論文 参考訳(メタデータ) (2021-11-17T05:00:51Z) - Agents for Automated User Experience Testing [4.6453787256723365]
自動UXテストのためのエージェントベースのアプローチを提案する。
我々は,基本問題解決スキルと中核的影響モデルを備えたエージェントを開発した。
この研究はまだ原始的な状態にあるが、この結果が知的エージェントの使用に強く影響していると我々は信じている。
論文 参考訳(メタデータ) (2021-04-13T14:13:28Z) - Writer Identification Using Microblogging Texts for Social Media
Forensics [53.180678723280145]
私たちは、文学的分析に広く使われている人気のあるスタイル的特徴と、URL、ハッシュタグ、返信、引用などの特定のTwitter機能を評価します。
我々は、様々なサイズの著者集合と、著者毎のトレーニング/テストテキストの量をテストする。
論文 参考訳(メタデータ) (2020-07-31T00:23:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。