論文の概要: Fuzzing Microservices: A Series of User Studies in Industry on Industrial Systems with EvoMaster
- arxiv url: http://arxiv.org/abs/2208.03988v2
- Date: Thu, 22 Aug 2024 14:05:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 20:17:08.531918
- Title: Fuzzing Microservices: A Series of User Studies in Industry on Industrial Systems with EvoMaster
- Title（参考訳）: Fuzzing Microservices: EvoMasterを使った産業システムに関する一連のユーザスタディ
- Authors: Man Zhang, Andrea Arcuri, Yonggang Li, Yang Liu, Kaiming Xue, Zhao Wang, Jian Huo, Weiwei Huang,
- Abstract要約: 本稿では,約2年間にわたるMeituanのテストプロセスにおけるEvoMasterの統合経験について報告する。
EvoMasterの2つのバージョンを評価するために、2021年と2023年に2つのユーザースタディが実施された。
この2つのユーザスタディは、EvoMasterの明確なメリットと、そのようなファジッターを産業試験で必要としていることを示しています。
- 参考スコア（独自算出の注目度）: 11.615989946553993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With several microservice architectures comprising of thousands of web services, used to serve 630 million customers, companies like Meituan face several challenges in the verification and validation of their software. This paper reports on our experience of integrating EvoMaster (a search-based white-box fuzzer) in the testing processes at Meituan over almost 2 years. Two user studies were carried out in 2021 and in 2023 to evaluate two versions of EvoMaster, respectively, in tackling the test generation for industrial web services which are parts of a large e-commerce microservice system. The two user studies involve in total 321,131 lines of code from five APIs and 27 industrial participants at Meituan. Questionnaires and interviews were carried out in both user studies with employees at Meituan. The two user studies demonstrate clear advantages of EvoMaster (i.e., code coverage and fault detection) and the urgent need to have such a fuzzer in industrial microservices testing. To study how these results could generalize, a follow up user study was done in 2024 with five engineers in the five different companies. Our results show that, besides their clear usefulness, there are still many critical challenges that the research community needs to investigate to improve performance further.
- Abstract（参考訳）: 6億3000万の顧客にサービスを提供していた数千のWebサービスで構成されるマイクロサービスアーキテクチャでは、Meituanのような企業は、ソフトウェアの検証と検証においていくつかの課題に直面している。
本稿では,Meituanにおける2年近くにわたるテストプロセスにEvoMaster(検索ベースのホワイトボックスファザ)を統合する経験について報告する。
2021年と2023年に2つのユーザスタディを行い、EvoMasterの2つのバージョンを評価し、大規模なEコマースマイクロサービスシステムの一部である産業Webサービスのテスト生成に対処した。
2つのユーザスタディは、Meituanの5つのAPIと27の産業参加者から合計321,131行のコードを含んでいる。
Meituanの従業員とのユーザスタディにおいて,アンケート調査およびインタビューを行った。
2つのユーザスタディは、EvoMaster(コードカバレッジと障害検出)の明確なメリットと、産業用マイクロサービステストにおいてこのようなファジィザを緊急に必要とすることのメリットを示している。
これらの結果をどのように一般化するかを研究するために、2024年に5つの異なる企業で5人のエンジニアによるフォローアップユーザースタディが実施された。
本研究の結果は,その有用性に加えて,研究コミュニティがさらなるパフォーマンス向上のために調査する必要がある重要な課題がまだ多数存在することを示唆している。
関連論文リスト
- INQUIRE: A Natural World Text-to-Image Retrieval Benchmark [51.823709631153946]
InQUIREは、専門家レベルのクエリにおけるマルチモーダル視覚言語モデルに挑戦するために設計されたテキスト・ツー・イメージ検索ベンチマークである。
InQUIREには、iNaturalist 2024(iNat24)、500万の自然界の画像の新しいデータセット、250のエキスパートレベルの検索クエリが含まれている。
InQUIRE-Fullrank,完全なデータセットランキングタスク,INQUIRE-Rerank,トップ100検索の精算タスクの2つの中核検索タスクを評価した。
論文 参考訳（メタデータ） (2024-11-04T19:16:53Z) - SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。
本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。
我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
論文 参考訳（メタデータ） (2024-09-11T17:37:48Z) - MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI [64.21953221846596]
MMMUは、大規模多分野タスクにおけるマルチモーダルモデルを評価するために設計された新しいベンチマークである。
被験者は30名、サブフィールドは183名、画像タイプは30名である。
14のオープンソースLMMとプロプライエタリなGPT-4V(ision)とGeminiの評価は、MMMUがもたらす重大な課題を強調している。
論文 参考訳（メタデータ） (2023-11-27T17:33:21Z) - Cost Reduction on Testing Evolving Cancer Registry System [5.173615889068739]
オープンソースのツールであるEvoMasterへの拡張は、進化的アルゴリズムでテストケースを生成する。
EvoClassは、GURIを進化させる際のテストコストを大幅に削減できる。
全体として、EvoClassは全体のコスト削減の31%を達成した。
論文 参考訳（メタデータ） (2023-09-29T07:56:23Z) - MER 2023: Multi-label Learning, Modality Robustness, and Semi-Supervised
Learning [90.17500229142755]
第1回マルチモーダル感情認識チャレンジ(MER 2023)は、ACMマルチメディアで成功した。
本稿では、この課題の背景にある動機を紹介し、ベンチマークデータセットを説明し、参加者に関する統計情報を提供する。
この高品質なデータセットは、特に中国の研究コミュニティにとって、マルチモーダルな感情認識の新しいベンチマークになり得ると考えています。
論文 参考訳（メタデータ） (2023-04-18T13:23:42Z) - Understanding the Issues, Their Causes and Solutions in Microservices
Systems: An Empirical Study [11.536360998310576]
技術的負債、継続的インテグレーション、例外処理、サービス実行、コミュニケーションは、システムにおいて最も重要な問題です。
特定された問題を修正するために適用可能な177種類のソリューションを見つけました。
論文 参考訳（メタデータ） (2023-02-03T18:08:03Z) - Perspectives of Non-Expert Users on Cyber Security and Privacy: An
Analysis of Online Discussions on Twitter [3.5174884177930448]
2つの機械学習ベースの分類器が開発され、413,985ツイートが特定された。
われわれは、2021年のサイバーセキュリティやプライバシー関連のトピックに関する非専門家のツイートが、世界的な新型コロナウイルス(COVID-19)のロックダウンの開始前(2019年1月から2020年2月)と比べて54%増加したことを観察した。
私たちの分析によると、VPN、Wi-Fi、スマートフォン、ラップトップ、スマートホームデバイス、金融セキュリティ、さまざまな利害関係者に関わるセキュリティとプライバシーの問題など、この3年間に渡り、専門家でないユーザーが議論してきたさまざまなトピックが明らかになった。
論文 参考訳（メタデータ） (2022-06-05T11:54:48Z) - Identifying Experts in Question & Answer Portals: A Case Study on Data
Science Competencies in Reddit [0.0]
Redditにおけるデータサイエンスの専門家の特定の可能性について検討する。
本手法は,2人のデータサイエンス専門家が専門家と専門家以外のコメントだけでなく,スコープ外コメントをラベル付けした手作業によるコーディング結果に基づいている。
我々は,1,113のラベル付きコメントと100,226の未ラベル付きコメントを組み合わせた半教師付きアプローチを提案する。
論文 参考訳（メタデータ） (2022-04-08T14:30:59Z) - Webly Supervised Fine-Grained Recognition: Benchmark Datasets and An
Approach [115.91099791629104]
WebFG-496 と WebiNat-5089 の2つの新しいベンチマークを構築した。
WebiNat-5089には5089のサブカテゴリと1100万以上のWebトレーニングイメージが含まれている。
そこで本研究では,これらのデータセットのベンチマークを行うための新しいウェブ教師付き手法("Peer-learning'" と呼ぶ)を提案する。
論文 参考訳（メタデータ） (2021-08-05T06:28:32Z) - StudyMe: A New Mobile App for User-Centric N-of-1 Trials [68.8204255655161]
N-of-1臨床試験は、個人が個人の健康目標に対する介入の効果を体系的に評価できる多種多様な自己実験である。
StudyMeはオープンソースのモバイルアプリで、https://play.google.com/store/apps/details?id=health.studyu.me.comから無料で利用できる。
論文 参考訳（メタデータ） (2021-07-31T20:43:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。