論文の概要: Distinguishability-guided Test Program Generation for WebAssembly Runtime Performance Testing

• arxiv url: http://arxiv.org/abs/2412.20100v1
• Date: Sat, 28 Dec 2024 09:51:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:50.245496
• Title: Distinguishability-guided Test Program Generation for WebAssembly Runtime Performance Testing
• Title（参考訳）: WebAssemblyランタイムパフォーマンステストのための区別可能なガイド付きテストプログラム生成
• Authors: Shuyao Jiang, Ruiying Zeng, Yangfan Zhou, Michael R. Lyu,
• Abstract要約: 高性能はWebAssembly(Wasm)の重要な設計目標である Wasmランタイムパフォーマンステストの研究は、いまだに高品質なテストプログラムの不足に悩まされている。 特に、WarpGenは3つのWasmランタイムで7つの新しいパフォーマンス問題を特定している。
• 参考スコア（独自算出の注目度）: 28.920256869194315
• License:
• Abstract: WebAssembly (Wasm) is a binary instruction format designed as a portable compilation target, which has been widely used on both the web and server sides in recent years. As high performance is a critical design goal of Wasm, it is essential to conduct performance testing for Wasm runtimes. However, existing research on Wasm runtime performance testing still suffers from insufficient high-quality test programs. To solve this problem, we propose a novel test program generation approach WarpGen. It first extracts code snippets from historical issue-triggering test programs as initial operators, then inserts an operator into a seed program to synthesize a new test program. To verify the quality of generated programs, we propose an indicator called distinguishability, which refers to the ability of a test program to distinguish abnormal performance of specific Wasm runtimes. We apply WarpGen for performance testing on four Wasm runtimes and verify its effectiveness compared with baseline approaches. In particular, WarpGen has identified seven new performance issues in three Wasm runtimes.
• Abstract（参考訳）: WebAssembly(Wasm)はポータブルなコンパイルターゲットとして設計されたバイナリ命令フォーマットで、Webとサーバの両方で近年広く使われている。 ハイパフォーマンスはWasmの重要な設計目標であるため、Wasmランタイムのパフォーマンステストを実施することが不可欠である。 しかし、Wasmランタイムパフォーマンステストに関する既存の研究は、まだ質の高いテストプログラムが不十分である。 そこで本研究では,新しいテストプログラム生成手法WarpGenを提案する。 まず、過去のイシュートリガテストプログラムからコードスニペットを初期演算子として抽出し、次にオペレータをシードプログラムに挿入して新しいテストプログラムを合成する。 生成されたプログラムの品質を検証するために,特定Wasmランタイムの異常な性能を識別するテストプログラムの能力を示す「識別可能性」という指標を提案する。 我々は4つのWasmランタイムのパフォーマンステストにWarpGenを適用し、ベースラインアプローチと比較してその有効性を検証する。 特に、WarpGenは3つのWasmランタイムで7つの新しいパフォーマンス問題を特定している。

関連論文リスト

• SWT-Bench: Testing and Validating Real-World Bug-Fixes with Code Agents [10.730852617039451]
  ユーザ問題をテストケースに形式化するLLMベースのコードエージェントについて検討する。 我々は人気のあるGitHubリポジトリに基づいた新しいベンチマークを提案し、現実世界の問題、地味なバグフィックス、ゴールデンテストを含む。 コード修復用に設計されたコードエージェントは,テスト生成用に設計されたシステムの性能を上回っている。
  論文  参考訳（メタデータ） (2024-06-18T14:54:37Z)
• NExT: Teaching Large Language Models to Reason about Code Execution [50.93581376646064]
  大規模言語モデル(LLM)のコードは通常、プログラムの表面テキスト形式に基づいて訓練される。 NExTは,プログラムの実行トレースを検査し,実行時の動作を判断する手法である。
  論文  参考訳（メタデータ） (2024-04-23T01:46:32Z)
• Large Language Models to Generate System-Level Test Programs Targeting Non-functional Properties [3.3305233186101226]
  本稿では,テストプログラムを生成するためのLarge Language Models (LLM)を提案する。 我々は、DUTの非機能特性を最適化するために、事前訓練されたLLMがテストプログラム生成でどのように機能するかを、一目で見てみる。
  論文  参考訳（メタデータ） (2024-03-15T08:01:02Z)
• Observation-based unit test generation at Meta [52.4716552057909]
  TestGenは、アプリケーション実行中に観察された複雑なオブジェクトのシリアライズされた観察から作られたユニットテストを自動的に生成する。 TestGenは518のテストを本番環境に投入し、継続的統合で9,617,349回実行され、5,702の障害が見つかった。 評価の結果,信頼性の高い4,361のエンドツーエンドテストから,少なくとも86%のクラスでテストを生成することができた。
  論文  参考訳（メタデータ） (2024-02-09T00:34:39Z)
• Unit Test Generation using Generative AI : A Comparative Performance Analysis of Autogeneration Tools [2.0686733932673604]
  本研究では,Pythonプログラムの単体テストスクリプト生成におけるLarge Language Models(LLMs)の有効性を実験的に検討することを目的とする。 実験では,1)手続き型スクリプト,2)関数ベースのモジュール型コード,3)クラスベースのコードという3つのタイプのコードユニットを検討する。 以上の結果から,ChatGPTの性能はPynguinに匹敵するが,いくつかのケースではPynguinよりも優れていた。
  論文  参考訳（メタデータ） (2023-12-17T06:38:11Z)
• WRTester: Differential Testing of WebAssembly Runtimes via Semantic-aware Binary Generation [19.78427170624683]
  WRTesterは,現実のWasmバイナリを分解・組み立てることで複雑なWasmテストケースを生成可能な,新しい差分テストフレームワークである。 予期せぬ動作の根本原因を更に特定するために,実行時に依存しない根本原因特定手法を設計し,バグを正確に検出する。 人気の高いWasmランタイムで33のユニークなバグを発見しました。
  論文  参考訳（メタデータ） (2023-12-16T14:02:42Z)
• Revealing Performance Issues in Server-side WebAssembly Runtimes via Differential Testing [28.187405253760687]
  我々はサーバサイドのWasmランタイムの性能問題を特定するために、新しい差分テストアプローチWarpDiffを設計する。 我々は、実行時間比がオラクル比から著しくずれた異常なケースを特定し、パフォーマンス問題の原因となるWasmランタイムを特定する。
  論文  参考訳（メタデータ） (2023-09-21T15:25:18Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)
• Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework [68.96770035057716]
  A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。 本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-05T10:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。