論文の概要: Evaluating Search-Based Software Microbenchmark Prioritization
- arxiv url: http://arxiv.org/abs/2211.13525v2
- Date: Tue, 23 Jan 2024 08:17:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 20:05:05.210005
- Title: Evaluating Search-Based Software Microbenchmark Prioritization
- Title（参考訳）: 検索に基づくソフトウェアマイクロベンチマーク優先化の評価
- Authors: Christoph Laaber, Tao Yue, Shaukat Ali
- Abstract要約: 本稿では,単目的と多目的の探索に基づくマイクロベンチマーク優先順位付け手法を実証的に評価する。
検索アルゴリズム(SA)は競争力があるばかりでなく、最高の欲求、カバレッジベースのベースラインを上回りません。
- 参考スコア（独自算出の注目度）: 6.938596103568648
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensuring that software performance does not degrade after a code change is
paramount. A solution is to regularly execute software microbenchmarks, a
performance testing technique similar to (functional) unit tests, which,
however, often becomes infeasible due to extensive runtimes. To address that
challenge, research has investigated regression testing techniques, such as
test case prioritization (TCP), which reorder the execution within a
microbenchmark suite to detect larger performance changes sooner. Such
techniques are either designed for unit tests and perform sub-par on
microbenchmarks or require complex performance models, drastically reducing
their potential application. In this paper, we empirically evaluate single- and
multi-objective search-based microbenchmark prioritization techniques to
understand whether they are more effective and efficient than greedy,
coverage-based techniques. For this, we devise three search objectives, i.e.,
coverage to maximize, coverage overlap to minimize, and historical performance
change detection to maximize. We find that search algorithms (SAs) are only
competitive with but do not outperform the best greedy, coverage-based
baselines. However, a simple greedy technique utilizing solely the performance
change history (without coverage information) is equally or more effective than
the best coverage-based techniques while being considerably more efficient,
with a runtime overhead of less than 1%. These results show that simple,
non-coverage-based techniques are a better fit for microbenchmarks than complex
coverage-based techniques.
- Abstract（参考訳）: コード変更の後にソフトウェアのパフォーマンスが劣化しないようにするのが最重要です。
解決策は、(機能的な)ユニットテストに似たパフォーマンステスト技術であるソフトウェアマイクロベンチマークを定期的に実行することです。
この課題に対処するため、テストケース優先順位付け(TCP)のような回帰テスト手法を調査し、マイクロベンチマークスイート内での実行を順序付けして、より早くより大きなパフォーマンス変化を検出する。
このようなテクニックはユニットテスト用に設計され、マイクロベンチマークでサブパーを実行するか、複雑なパフォーマンスモデルを必要とする。
本稿では,単目的および多目的の検索に基づくマイクロベンチマーク優先順位付け手法を実験的に評価し,その効果と効率性について検討した。
そこで我々は,3つの検索目標,すなわち最大化のためのカバレッジ,最小化のためのカバレッジ重なり,最大化のための過去のパフォーマンス変化検出を考案する。
検索アルゴリズム(SA)は競争力があるばかりでなく、最高の欲求、カバレッジベースのベースラインを上回りません。
しかし、パフォーマンス変更履歴のみを利用する単純な欲求的手法(カバレッジ情報なしで)は、最高のカバレッジベースの手法と同等かそれ以上に効果的であるが、実行時のオーバーヘッドは1%未満である。
これらの結果は、単純な非カバレッジベースのテクニックが、複雑なカバレッジベース技術よりもマイクロベンチマークに適していることを示している。
関連論文リスト
- Optimizing Metamorphic Testing: Prioritizing Relations Through Execution Profile Dissimilarity [2.6749261270690434]
オラクルは、実行されたテストケースのプログラムの出力が正しいかどうかを判定する。
機械学習プログラムでは、そのようなオラクルはしばしば利用できないか、適用できない。
MRの優先順位付けは、障害検出の有効性を高め、テスト効率を向上させる。
論文 参考訳（メタデータ） (2024-11-14T04:14:30Z) - DOCE: Finding the Sweet Spot for Execution-Based Code Generation [69.5305729627198]
本稿では,候補生成,$n$-best再ランク,最小ベイズリスク(MBR)復号化,自己老化などを含む包括的フレームワークを提案する。
本研究は,実行ベースメソッドの重要性と,実行ベースメソッドと実行フリーメソッドとの差を明らかにする。
論文 参考訳（メタデータ） (2024-08-25T07:10:36Z) - Segment-Based Test Case Prioritization: A Multi-objective Approach [8.972346309150199]
TCP(Test Case Prioritization)は、目的関数を最大化する実行順序でテストケースをスケジュールするコスト効率の高いソリューションである。
進化的検索アルゴリズムと4つのカバレッジ基準を用いてUIテストケースを優先する多目的最適化手法を提案する。
提案手法は,APFD(Average Percentage of Faults Detected)とAPFD(APFD with Cost)において,他の手法よりも優れている。
論文 参考訳（メタデータ） (2024-08-01T16:51:01Z) - On Test Sequence Generation using Multi-Objective Particle Swarm Optimization [0.2999888908665658]
ソフトウェア開発ライフサイクルにおいて、ソフトウェアテストは重要かつ不可欠な部分です。
ソフトウェア業界では、テストコストはソフトウェアプロジェクトの総コストの約35%から40%を占めることができます。
論文 参考訳（メタデータ） (2024-04-09T18:35:21Z) - A Comprehensively Improved Hybrid Algorithm for Learning Bayesian
Networks: Multiple Compound Memory Erasing [0.0]
本稿では、新しいハイブリッドアルゴリズムMCME(multiple compound memory erasing)を提案する。
MCMEは、最初の2つの手法の利点を維持し、上記のCIテストの欠点を解消し、方向判別段階におけるスコアリング機能に革新をもたらす。
多くの実験により、MCMEは既存のアルゴリズムよりも優れた、あるいは類似した性能を示している。
論文 参考訳（メタデータ） (2022-12-05T12:52:07Z) - Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。
基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。
我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
論文 参考訳（メタデータ） (2022-09-27T17:51:31Z) - Injecting Domain Adaptation with Learning-to-hash for Effective and
Efficient Zero-shot Dense Retrieval [49.98615945702959]
我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。
以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
論文 参考訳（メタデータ） (2022-05-23T17:53:44Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳（メタデータ） (2022-03-23T06:24:31Z) - Don't Search for a Search Method -- Simple Heuristics Suffice for
Adversarial Text Attacks [11.196974000738729]
ゼロオーダーの最適化に基づく攻撃にインスパイアされたアルゴリズムを実装し、TextAttackフレームワークのベンチマーク結果と比較する。
驚いたことに、最適化に基づく手法は制約された設定においていかなる改善をもたらさない。
これらの結果から、現在のTextAttackベンチマークタスクは簡単すぎて制約が厳しすぎて、ブラックボックスの敵対的テキスト攻撃に関する有意義な研究が妨げられていると結論付けている。
論文 参考訳（メタデータ） (2021-09-16T12:22:17Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳（メタデータ） (2020-08-04T10:41:32Z) - Greedy Policy Search: A Simple Baseline for Learnable Test-Time
Augmentation [65.92151529708036]
我々は,テスト時間拡張のポリシーを学習するための簡易かつ高性能な方法として,greedy Policy Search (GPS)を導入した。
画像分類問題においてGPSで学習した拡張ポリシーが優れた予測性能を実現することを実証する。
論文 参考訳（メタデータ） (2020-02-21T02:57:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。