論文の概要: Evaluating Change Point Detection Methods for Software Performance Regression Analysis

• arxiv url: http://arxiv.org/abs/2610.09023v1
• Date: Tue, 06 Oct 2026 19:22:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.568953
• Title: Evaluating Change Point Detection Methods for Software Performance Regression Analysis
• Title（参考訳）: ソフトウェア性能回帰分析のための変化点検出手法の評価
• Abstract要約: 変化点検出 (CPD) 法は, 動作変化の同定を自動化するために広く用いられている。 本稿では,実世界のソフトウェア性能評価データセットにおけるCDD手法の有効性を評価する。
• 参考スコア（独自算出の注目度）: 3.7584181111148336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance issues in software systems are a critical quality issue that can erode user trust, violate service-level agreements, and ultimately affect business efficiency. Consequently, software performance engineering has shifted its focus to developing robust techniques to detect performance regressions as early as possible in the development cycle. Performance regression analysis often relies on time series of performance measurements to detect significant changes in performance behavior. Change Point Detection (CPD) methods have been widely used to automate the identification of such changes in various domains, including finance, healthcare, and performance monitoring. However, the effectiveness of these methods for software performance measurements has not been thoroughly evaluated. In this paper, we present a comprehensive study to evaluate the effectiveness of various CPD methods on real-world software performance measurement datasets. We start by collecting performance measurement data from three large software systems and characterizing the unique properties of performance time series data. Then, we undertake a large-scale effort to annotate and evaluate the consistency of human annotators' identification of potential performance changes. Thereafter, we evaluate the accuracy of twelve distinct CPD methods in detecting potential performance changes, providing insights into their applicability and effectiveness in software performance regression analysis.
• Abstract（参考訳）: ソフトウェアシステムのパフォーマンス問題は、ユーザの信頼を損なう、サービスレベルの合意に違反し、最終的にビジネス効率に影響を与える、重要な品質問題である。 その結果、ソフトウェアパフォーマンスエンジニアリングは、開発サイクルにおいてできるだけ早くパフォーマンスのレグレッションを検出する堅牢な技術の開発に焦点を移した。 パフォーマンスレグレッション分析は、しばしばパフォーマンスの挙動に大きな変化を検出するために、一連のパフォーマンス測定に依存する。 変化点検出(CPD)法は、金融、医療、パフォーマンス監視など、様々な領域における変化の特定を自動化するために広く用いられている。 しかし,ソフトウェアの性能評価におけるこれらの手法の有効性は十分に評価されていない。 本稿では,実世界のソフトウェア性能評価データセットにおける様々なCDD手法の有効性を評価するための総合的研究について述べる。 まず,3つの大規模ソフトウェアシステムから性能測定データを収集し,その特性を特徴付ける。 そこで我々は,アノテータのアノテータによる潜在的な性能変化の同定の整合性の評価とアノテータのアノテータ化のための大規模な取り組みを行った。 その後、ソフトウェアの性能回帰分析において、潜在的な性能変化を検出するための12種類のCPD手法の精度を評価し、その適用性と有効性について考察した。

関連論文リスト

• Detecting Performance-Relevant Changes in Configurable Software Systems [8.036869046810223]
  ConfFLAREは、変更がパフォーマンス関連コードとデータ-フローの相互作用を識別することで、パフォーマンスに潜在的に影響を及ぼすかどうかを見積もっている。 ほぼすべてのケースでパフォーマンスのレグレッションを正しく検出し、2つのケースを除いて、関連する機能をすべて識別する。 これにより、平均してテストすべき構成数が、合成で79%、実世界の回帰シナリオで70%削減され、パフォーマンステスト時間が短縮される。
  論文  参考訳（メタデータ） (2025-11-21T14:20:08Z)
• ARISE: An Adaptive Resolution-Aware Metric for Test-Time Scaling Evaluation in Large Reasoning Models [102.4511331368587]
  ARISE(Adaptive Resolution-Aware Scaling Evaluation)は、大規模推論モデルの試験時間スケーリングの有効性を評価するために設計された新しい尺度である。 我々は、様々な領域にわたる最先端の推論モデルを評価する包括的な実験を行う。
  論文  参考訳（メタデータ） (2025-10-07T15:10:51Z)
• Incremental Uncertainty-aware Performance Monitoring with Active Labeling Intervention [64.12447263206381]
  Incrmental Uncertainty-aware Performance Monitoring (IUPM) というラベルのない手法を提案する。 IUPMは、性能予測の不確実性を定量化し、限られたラベル付け予算の下で信頼性の高い見積もりを復元するアクティブなラベル付け手順を導入する。 実験の結果、IUPMは様々な段階的なシフトシナリオにおいて、既存の性能推定基準よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-05-11T15:35:55Z)
• Identifying and Replicating Code Patterns Driving Performance Regressions in Software Systems [7.030339427131108]
  パフォーマンス変異テストは、意図的な欠陥を導入し、障害検出能力を測定し、強化する。 重要な課題は、生成されたミュータントが現実世界のパフォーマンス問題を正確に反映しているかどうかを理解することである。 本研究は、性能試験のための突然変異演算子を評価し、拡張する。
  論文  参考訳（メタデータ） (2025-04-08T09:28:46Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Analyzing the Influence of Processor Speed and Clock Speed on Remaining Useful Life Estimation of Software Systems [0.9831489366502301]
  本研究は,オペレーティングシステムやクロック速度などの環境特性の変化がソフトウェアにおけるRUL推定に与える影響を評価するために,解析を拡張した。 検出は、制御されたテストベッドの実際のパフォーマンスデータを用いて厳格に検証され、予測モデル生成データと比較される。 この調査は、ソフトウェアのメンテナンスと最適化戦略に実用的な知識をもたらす。
  論文  参考訳（メタデータ） (2023-09-22T04:46:34Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。