論文の概要: Early Detection of Performance Regressions by Bridging Local Performance Data and Architectural Models
- arxiv url: http://arxiv.org/abs/2408.08148v1
- Date: Thu, 15 Aug 2024 13:33:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-16 13:46:24.764071
- Title: Early Detection of Performance Regressions by Bridging Local Performance Data and Architectural Models
- Title（参考訳）: 局所的性能データと構造モデルによる性能回帰の早期検出
- Authors: Lizhi Liao, Simon Eismann, Heng Li, Cor-Paul Bezemer, Diego Elias Costa, Andre van Hoorn, Weiyi Shang,
- Abstract要約: ソフトウェア開発では、開発者は既存の問題に対処したり、新機能を実装したりするために、ソフトウェアに多くの修正を加えることが多い。
新しいソフトウェアリリースのパフォーマンスが低下しないことを保証するため、既存のプラクティスはシステムレベルのパフォーマンステストに依存している。
本稿では,コンポーネントレベルのテストとシステムレベルのアーキテクチャモデルによって生成された局所的な性能データをブリッジすることで,性能の劣化を早期に検出する手法を提案する。
- 参考スコア（独自算出の注目度）: 12.581051275141537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: During software development, developers often make numerous modifications to the software to address existing issues or implement new features. However, certain changes may inadvertently have a detrimental impact on the overall system performance. To ensure that the performance of new software releases does not degrade, existing practices rely on system-level performance testing, such as load testing, or component-level performance testing to detect performance regressions. However, performance testing for the entire system is often expensive and time-consuming, posing challenges to adapting to the rapid release cycles common in modern DevOps practices. System-level performance testing cannot be conducted until the system is fully built and deployed. On the other hand, component-level testing focuses on isolated components, neglecting overall system performance and the impact of system workloads. In this paper, we propose a novel approach to early detection of performance regressions by bridging the local performance data generated by component-level testing and the system-level architectural models. Our approach uses local performance data to identify deviations at the component level, and then propagate these deviations to the architectural model. We then use the architectural model to predict regressions in the performance of the overall system. We evaluate our approach on two open-source benchmark systems and show that it can effectively detect end-to-end system performance regressions from local performance deviations with different intensities and under various system workloads. More importantly, our approach can detect regressions as early as in the development phase, in contrast to existing approaches that require the system to be fully built and deployed. Our approach is lightweight and can complement traditional system performance testing when testing resources are scarce.
- Abstract（参考訳）: ソフトウェア開発では、開発者は既存の問題に対処したり、新機能を実装したりするために、ソフトウェアに多くの修正を加えることが多い。
しかしながら、特定の変更がシステム全体のパフォーマンスに不注意に有害な影響を及ぼす可能性がある。
新しいソフトウェアリリースのパフォーマンスが低下しないことを保証するため、既存のプラクティスでは、負荷テストやコンポーネントレベルのパフォーマンステストといったシステムレベルのパフォーマンステストに頼り、パフォーマンスのレグレッションを検出する。
しかしながら、システム全体のパフォーマンステストは高価で時間を要することが多く、現代的なDevOpsプラクティスに共通する迅速なリリースサイクルに適応する上での課題となっている。
システムレベルのパフォーマンステストは、システムが完全にビルドされデプロイされるまで実行できません。
一方、コンポーネントレベルのテストは、独立したコンポーネントに焦点を当て、システム全体のパフォーマンスとシステムワークロードの影響を無視します。
本稿では,コンポーネントレベルのテストとシステムレベルのアーキテクチャモデルによって生成された局所的な性能データをブリッジすることで,性能劣化を早期に検出する手法を提案する。
このアプローチでは、局所的なパフォーマンスデータを使用して、コンポーネントレベルでの偏差を特定し、これらの偏差をアーキテクチャモデルに伝達します。
次に、アーキテクチャモデルを使用してシステム全体のパフォーマンスの回帰を予測する。
我々は,2つのオープンソースのベンチマークシステムに対するアプローチを評価し,異なる強度と様々なシステムワークロード下での局所的な性能偏差から,エンドツーエンドのシステム性能の回帰を効果的に検出できることを示した。
さらに重要なのは、システムを完全にビルドしてデプロイする必要がある既存のアプローチとは対照的に、当社のアプローチが開発フェーズの早期にレグレッションを検出できることです。
私たちのアプローチは軽量で、テストリソースが不足している場合、従来のシステムパフォーマンステストを補完することができます。
関連論文リスト
- Tracing Optimization for Performance Modeling and Regression Detection [15.99435412859094]
性能モデルは、システムのパフォーマンスと実行時のアクティビティの関係を解析的に記述する。
性能に敏感なコード領域を識別・排除することで、トレーシングオーバーヘッドを低減する統計的手法を提案する。
私たちのアプローチは完全に自動化されており、最小限の人的労力で本番環境で使用できるようにしています。
論文 参考訳（メタデータ） (2024-11-26T16:11:55Z) - Experimental evaluation of architectural software performance design patterns in microservices [5.662788913145226]
本研究の目的は,設計パターンがシステム性能指標に与える影響を定量化することである。
実際のパフォーマンス測定は、モデルベースの予測と比較される。
その結果、ベンチマークシステムのパラメータ化が難しいにもかかわらず、モデルベースの予測は実際の実験と一致していることがわかった。
論文 参考訳（メタデータ） (2024-08-20T12:21:40Z) - A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks [1.3398445165628463]
本稿では, クラウドネイティブ環境における障害復旧性能, 安定性, 回復時間に関する包括的解析を行う。
以上の結果から,Flinkは最も安定しており,最高の障害回復の1つであることが示唆された。
K Kafka Streamsは適切なフォールトリカバリパフォーマンスと安定性を示しているが、イベントレイテンシは高い。
論文 参考訳（メタデータ） (2024-04-09T10:49:23Z) - Analyzing the Influence of Processor Speed and Clock Speed on Remaining Useful Life Estimation of Software Systems [0.9831489366502301]
本研究は,オペレーティングシステムやクロック速度などの環境特性の変化がソフトウェアにおけるRUL推定に与える影響を評価するために,解析を拡張した。
検出は、制御されたテストベッドの実際のパフォーマンスデータを用いて厳格に検証され、予測モデル生成データと比較される。
この調査は、ソフトウェアのメンテナンスと最適化戦略に実用的な知識をもたらす。
論文 参考訳（メタデータ） (2023-09-22T04:46:34Z) - FuzzyFlow: Leveraging Dataflow To Find and Squash Program Optimization
Bugs [92.47146416628965]
FuzzyFlowはプログラム最適化をテストするために設計されたフォールトローカライゼーションとテストケース抽出フレームワークである。
我々は、データフロープログラム表現を活用して、完全に再現可能なシステム状態と最適化のエリア・オブ・エフェクトをキャプチャする。
テスト時間を削減するため,テスト入力を最小限に抑えるアルゴリズムを設計し,再計算のためのメモリ交換を行う。
論文 参考訳（メタデータ） (2023-06-28T13:00:17Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Robustness and Generalization Performance of Deep Learning Models on
Cyber-Physical Systems: A Comparative Study [71.84852429039881]
調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。
我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
論文 参考訳（メタデータ） (2023-06-13T12:43:59Z) - Improving the Performance of Robust Control through Event-Triggered
Learning [74.57758188038375]
LQR問題における不確実性に直面していつ学習するかを決定するイベントトリガー学習アルゴリズムを提案する。
本研究では,ロバストな制御器ベースライン上での性能向上を数値例で示す。
論文 参考訳（メタデータ） (2022-07-28T17:36:37Z) - Performance Analysis of Deep Learning Workloads on a Composable System [0.08388591755871731]
構成可能なインフラストラクチャは、計算、ストレージ、アクセラレータ、ネットワークなどのリソースとして定義され、プール内で共有される。
本稿では、IBM Research AI Hardware Centerのパートナーが実装し、利用可能にしたエンタープライズ構成可能なインフラストラクチャの設計について説明します。
論文 参考訳（メタデータ） (2021-03-19T17:15:42Z) - Unsupervised Domain Adaptation for Spatio-Temporal Action Localization [69.12982544509427]
S時間動作の局所化はコンピュータビジョンにおいて重要な問題である。
本稿では、エンドツーエンドの教師なしドメイン適応アルゴリズムを提案する。
空間的特徴と時間的特徴を別々にあるいは共同的に適応した場合に,顕著な性能向上が達成できることを示す。
論文 参考訳（メタデータ） (2020-10-19T04:25:10Z) - Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical
Analysis of System-wise Evaluation [114.48767388174218]
本稿では,異なる設定の異なるモジュールから構成される異なるダイアログシステムについて,実験的検討を行った。
この結果から, 粗粒度ラベルで学習した連系や終端モデルを用いたシステムよりも, 細粒度監視信号を用いて訓練したパイプラインダイアログシステムの方が, 高い性能が得られることが示唆された。
論文 参考訳（メタデータ） (2020-05-15T05:20:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。