論文の概要: Exploring Statistical Change Point Detection Techniques for Performance Anomaly Detection at Mozilla

• arxiv url: http://arxiv.org/abs/2606.18377v1
• Date: Tue, 16 Jun 2026 18:25:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.839569
• Title: Exploring Statistical Change Point Detection Techniques for Performance Anomaly Detection at Mozilla
• Title（参考訳）: Mozillaにおける性能異常検出のための統計的変化点検出手法の探索
• Authors: Mohamed Bilel Besbes, Gregory Mierzwinski, Suhaib Mujahid, Philipp Leitner, Alexander Serebrenik, Dave Hunt, Diego Elias Costa,
• Abstract要約: 本稿では,Mozillaの現在の方法に代わる方法として,25個のCPD法と15個のアンサンブルアプローチを評価する実験的検討を行った。 11人のMozillaパフォーマンスエンジニアが手動でアノテートした174のパフォーマンス時系列のグランドトラストデータセットを構築した。 以上の結果から, オフライン・ハイブリッドCDD手法はMozillaの手法によるリコールを改善するが, 高精度化には高いコストがかかることがわかった。
• 参考スコア（独自算出の注目度）: 38.067920969502346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software performance regressions can have significant business consequences, making automated detection a critical component of modern continuous integration pipelines. At Mozilla, performance anomaly detection is handled by Perfherder, Mozilla's performance engineering management system that relies on a Student's T-test-based approach to flag regressions across hundreds of daily code changes. However, our preliminary analysis of one year of Mozilla performance data reveals that 12.5% of generated alert groups are false positives, while approximately 6.8% of them contain regressions missed by the automated system. This paper presents an empirical study evaluating 25 change-point detection (CPD) methods and 15 ensemble approaches as alternatives to Mozilla's current method. We construct a ground-truth dataset of 174 performance time series manually annotated by eleven Mozilla performance engineers, representing one of the first practitioner-annotated CPD benchmarks for performance engineering. Our results show that while offline and hybrid CPD methods improve recall over Mozilla's method, they do so at a high cost to precision. Ensemble voting strategies alleviate this trade-off and offer more consistent performance, resulting in 11% improvement in the F1-score. We validate the experimental results through a practitioner survey and report on lessons learned from integrating the best methods into Mozilla's performance engineering system.
• Abstract（参考訳）: ソフトウェアパフォーマンスのレグレッションは、ビジネス上の重大な結果をもたらす可能性がある。 Mozillaでは、パフォーマンス異常検出は、Mozillaのパフォーマンスエンジニアリング管理システムであるPerfherderによって処理される。 しかし、Mozillaのパフォーマンスデータの1年間の予備分析では、生成された警告グループの12.5%が偽陽性であり、そのうち約6.8%が自動システムによって欠落した回帰を含んでいることが明らかになった。 本稿では,Mozillaの現在の方法に代わる方法として,25個のCPD法と15個のアンサンブルアプローチを評価する実験的検討を行った。 我々は、Mozillaのパフォーマンスエンジニア11人が手動でアノテートした174のパフォーマンス時系列のグランドトラストデータセットを構築し、パフォーマンスエンジニアリングのための最初の実践者によるCDDベンチマークの1つである。 以上の結果から, オフライン・ハイブリッドCDD手法はMozillaの手法によるリコールを改善するが, 高精度化には高いコストがかかることがわかった。 このトレードオフを緩和し、より一貫したパフォーマンスを提供し、結果としてF1スコアは11%向上した。 実践者の調査を通じて実験結果を検証し、Mozillaのパフォーマンスエンジニアリングシステムにベストメソッドを統合することから学んだ教訓を報告する。

関連論文リスト

• Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
  プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。 本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。 本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T09:00:30Z)
• A Metamorphic Testing Approach to Diagnosing Memorization in LLM-Based Program Repair [9.198826017433388]
  大規模言語モデル(LLM)は、評価ベンチマークが事前トレーニングデータと重なり合うとバグ修正を記憶し、パフォーマンスの見積もりが膨らむ。 メタモルフィックテスト (MT) と負の対数類似度 (NLL) を組み合わせることにより, データの漏洩を明らかにすることができるかを検討する。 以上の結果から,GPT-4oでは4.1%,Llama-3.1では15.98%と,パッチ生成率の大幅な低下が認められた。
  論文  参考訳（メタデータ） (2026-04-23T11:59:53Z)
• CTI-REALM: Benchmark to Evaluate Agent Performance on Security Detection Rule Generation Capabilities [0.0]
  CTI-REALMは、AIエージェントがサイバー脅威インテリジェンス(CTI)を解釈し、検出ルールを開発する能力を評価するために設計されたベンチマークである。 この研究は、AIエージェントが検出エンジニアリングの労働集約的な側面をサポートする可能性を実証している。
  論文  参考訳（メタデータ） (2026-03-13T18:48:40Z)
• Foundational Automatic Evaluators: Scaling Multi-Task Generative Evaluator Training for Reasoning-Centric Domains [97.5573252172065]
  自動推論評価器(FARE)のファミリーを,簡易な反復的リジェクションサンプリング制御による微調整手法で訓練する。 FARE-8Bはより大型のRL訓練評価器に挑戦し、FARE-20Bはオープンソース評価器の新しい標準となる。 推論時リランカとして、FARE-20BはMATH上でのニアオークル性能を達成する。
  論文  参考訳（メタデータ） (2025-10-20T17:52:06Z)
• An Empirical Study on Method-Level Performance Evolution in Open-Source Java Projects [14.908341749591594]
  我々は15の成熟したオープンソースのJavaプロジェクトで、パフォーマンスの進化を分析する大規模な実証的研究を行った。 その結果,メソッドレベルの変化の32.7%が測定可能なパフォーマンスに影響を及ぼすことが判明した。 アルゴリズムの変更は、最高の改善可能性を示すが、かなりのレグレッションリスクを持つ。
  論文  参考訳（メタデータ） (2025-08-09T19:39:01Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
  自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。 実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。 学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
  論文  参考訳（メタデータ） (2023-04-04T22:45:50Z)
• SS-SFDA : Self-Supervised Source-Free Domain Adaptation for Road Segmentation in Hazardous Environments [54.22535063244038]
  本研究では,雨や霧などの悪天候条件下での道路の非監督的区画化に対する新しいアプローチを提案する。 これには、自己教師付き学習を用いたソースフリードメイン適応(SFDA)のための新しいアルゴリズムが含まれている。 実際の悪天候条件と合成悪天候条件に対応するデータセットを6ドルで評価した。
  論文  参考訳（メタデータ） (2020-11-27T09:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。