論文の概要: Enhancing Testing at Meta with Rich-State Simulated Populations

• arxiv url: http://arxiv.org/abs/2403.15374v1
• Date: Fri, 22 Mar 2024 17:54:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 16:30:34.393818
• Title: Enhancing Testing at Meta with Rich-State Simulated Populations
• Title（参考訳）: Rich-State Simulated Populationsによるメタテストの強化
• Authors: Nadia Alshahwan, Arianna Blasi, Kinga Bojarczuk, Andrea Ciancone, Natalija Gucevska, Mark Harman, Simon Schellaert, Inna Harper, Yue Jia, Michał Królikowski, Will Lewis, Dragos Martac, Rubmary Rojas, Kate Ustiuzhanina,
• Abstract要約: 本稿では,自動および手動テストのためのMetaにおけるRich-State Simulated Populationsの展開結果について報告する。 ユーザインタラクションを模倣し、実際のユーザアカウントが状態を取得するのと同じように、状態を取得するために、シミュレートされたユーザ(別名テストユーザ)を使用します。 自動テストでは、Facebook、Messenger、iOSおよびAndroidプラットフォーム向けのInstagramアプリへのデプロイによる経験的な結果を提示します。
• 参考スコア（独自算出の注目度）: 9.08784785050728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper reports the results of the deployment of Rich-State Simulated Populations at Meta for both automated and manual testing. We use simulated users (aka test users) to mimic user interactions and acquire state in much the same way that real user accounts acquire state. For automated testing, we present empirical results from deployment on the Facebook, Messenger, and Instagram apps for iOS and Android Platforms. These apps consist of tens of millions of lines of code, communicating with hundreds of millions of lines of backend code, and are used by over 2 billion people every day. Our results reveal that rich state increases average code coverage by 38\%, and endpoint coverage by 61\%. More importantly, it also yields an average increase of 115\% in the faults found by automated testing. The rich-state test user populations are also deployed in a (continually evolving) Test Universe; a web-enabled simulation platform for privacy-safe manual testing, which has been used by over 21,000 Meta engineers since its deployment in November 2022.
• Abstract（参考訳）: 本稿では,自動および手動テストのためのMetaにおけるRich-State Simulated Populationsの展開結果について報告する。 ユーザインタラクションを模倣し、実際のユーザアカウントが状態を取得するのと同じように、状態を取得するために、シミュレートされたユーザ(別名テストユーザ)を使用します。 自動テストでは、Facebook、Messenger、iOSおよびAndroidプラットフォーム向けのInstagramアプリへのデプロイによる経験的な結果を提示します。 これらのアプリは数千万行のコードで構成され、数億行のバックエンドコードと通信し、毎日20億人以上の人々が使っている。 その結果、リッチな状態は平均コードカバレッジを38 %、エンドポイントカバレッジを61 %増加させます。 さらに重要なのは、自動テストで見つかった欠陥の115\%が平均的に増加することだ。 リッチステートテストのユーザ人口は,2022年11月のデプロイ以来,21,000人を越えるMetaエンジニアが使用している,プライバシセーフな手動テストのためのWeb対応シミュレーションプラットフォームであるTest Universeにもデプロイされている(継続的に進化している)。

関連論文リスト

• APITestGenie: Automated API Test Generation through Generative AI [2.0716352593701277]
  APITestGenieはビジネス要件とAPI仕様から実行可能なAPIテストスクリプトを生成する。 10の現実世界のAPIを使った実験では、ツールが有効なテストスクリプトを57%生成した。 人間の介入は、CI/CDパイプラインに統合される前に生成されたスクリプトを検証または洗練するために推奨される。
  論文  参考訳（メタデータ） (2024-09-05T18:02:41Z)
• Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
  我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。 Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。 これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
  論文  参考訳（メタデータ） (2024-07-15T17:54:37Z)
• Practical, Automated Scenario-based Mobile App Testing [13.52057950260007]
  ヒューマンテスタが開発したテストスクリプトは、テストシナリオに集中してビジネスロジックを検討する。 モバイルアプリのGUI集約的な機能のため、ヒューマンテスタは常にアプリケーションのGUIを理解して、シナリオのテストスクリプトを整理します。 ScenTestは、ヒューマンプラクティスを模倣し、ドメイン知識をシナリオベースのモバイルアプリテストに統合することで、自動テストを開始する。
  論文  参考訳（メタデータ） (2024-06-12T15:48:39Z)
• Automated Unit Test Improvement using Large Language Models at Meta [44.87533111512982]
  本稿では,LLMを用いたMetaのTestGen-LLMツールについて述べる。 InstagramとFacebookプラットフォームのMetaテストアソンにおけるTestGen-LLMのデプロイについて説明する。
  論文  参考訳（メタデータ） (2024-02-14T13:43:14Z)
• Observation-based unit test generation at Meta [52.4716552057909]
  TestGenは、アプリケーション実行中に観察された複雑なオブジェクトのシリアライズされた観察から作られたユニットテストを自動的に生成する。 TestGenは518のテストを本番環境に投入し、継続的統合で9,617,349回実行され、5,702の障害が見つかった。 評価の結果,信頼性の高い4,361のエンドツーエンドテストから,少なくとも86%のクラスでテストを生成することができた。
  論文  参考訳（メタデータ） (2024-02-09T00:34:39Z)
• Neural Embeddings for Web Testing [49.66745368789056]
  既存のクローラは、状態等価性を評価するために、アプリ固有のしきい値ベースのアルゴリズムに依存している。 ニューラルネットワークの埋め込みとしきい値のない分類器に基づく新しい抽象関数WEBEMBEDを提案する。 WEBEMBEDは,9つのWebアプリケーションに対する評価の結果,近距離検出により最先端技術よりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2023-06-12T19:59:36Z)
• An Empirical Evaluation of Using Large Language Models for Automated Unit Test Generation [3.9762912548964864]
  本稿では,自動単体テスト生成における大規模言語モデルの有効性について,大規模な実証評価を行った。 これはJavaScript用のテスト生成ツールで、npmパッケージ内のすべてのAPI関数のユニットテストを自動的に生成します。 TestPilotの生成されたテストの92.8%は、既存のテストと50%以上の類似性を持っていない。
  論文  参考訳（メタデータ） (2023-02-13T17:13:41Z)
• Using Sampling to Estimate and Improve Performance of Automated Scoring Systems with Guarantees [63.62448343531963]
  本稿では,既存のパラダイムを組み合わせることで,人間が知能的に収集する応答をサンプリングする手法を提案する。 比較的少ない予算で精度(平均19.80%)と二次重み付きカッパ(平均25.60%)の顕著な増加を観察した。
  論文  参考訳（メタデータ） (2021-11-17T05:00:51Z)
• Agents for Automated User Experience Testing [4.6453787256723365]
  自動UXテストのためのエージェントベースのアプローチを提案する。 我々は,基本問題解決スキルと中核的影響モデルを備えたエージェントを開発した。 この研究はまだ原始的な状態にあるが、この結果が知的エージェントの使用に強く影響していると我々は信じている。
  論文  参考訳（メタデータ） (2021-04-13T14:13:28Z)
• Writer Identification Using Microblogging Texts for Social Media Forensics [53.180678723280145]
  私たちは、文学的分析に広く使われている人気のあるスタイル的特徴と、URL、ハッシュタグ、返信、引用などの特定のTwitter機能を評価します。 我々は、様々なサイズの著者集合と、著者毎のトレーニング/テストテキストの量をテストする。
  論文  参考訳（メタデータ） (2020-07-31T00:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。