論文の概要: An Empirical Study of SOTA RCA Models: From Oversimplified Benchmarks to Realistic Failures
- arxiv url: http://arxiv.org/abs/2510.04711v1
- Date: Mon, 06 Oct 2025 11:30:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.827814
- Title: An Empirical Study of SOTA RCA Models: From Oversimplified Benchmarks to Realistic Failures
- Title（参考訳）: SOTA RCAモデルに関する実証的研究:過度に単純化されたベンチマークから現実的失敗へ
- Authors: Aoyang Fang, Songhan Zhang, Yifan Yang, Haotong Wu, Junjielong Xu, Xuyang Wang, Rui Wang, Manyi Wang, Qisheng Lu, Pinjia He,
- Abstract要約: 我々は,4つの広く使用されているベンチマークにおいて,単純なルールベースの手法が最先端(SOTA)モデルに適合するか,あるいは性能に優れていることを示す。
私たちの分析では、スケーラビリティの問題、可観測性の盲点、モデリングボトルネックの3つの一般的な障害パターンを強調しています。
- 参考スコア（独自算出の注目度）: 16.06503310632004
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While cloud-native microservice architectures have transformed software development, their complexity makes Root Cause Analysis (RCA) both crucial and challenging. Although many data-driven RCA models have been proposed, we find that existing benchmarks are often oversimplified and fail to capture real-world conditions. Our preliminary study shows that simple rule-based methods can match or even outperform state-of-the-art (SOTA) models on four widely used benchmarks, suggesting performance overestimation due to benchmark simplicity. To address this, we systematically analyze popular RCA benchmarks and identify key limitations in fault injection, call graph design, and telemetry patterns. Based on these insights, we develop an automated framework to generate more realistic benchmarks, yielding a dataset of 1,430 validated failure cases from 9,152 injections, covering 25 fault types under dynamic workloads with hierarchical ground-truth labels and verified SLI impact. Re-evaluation of 11 SOTA models on this dataset shows low Top@1 accuracy (average 0.21, best 0.37) and significantly longer execution times. Our analysis highlights three common failure patterns: scalability issues, observability blind spots, and modeling bottlenecks.
- Abstract（参考訳）: クラウドネイティブなマイクロサービスアーキテクチャはソフトウェア開発を変革しているが、その複雑さはRoot Cause Analysis(RCA)を重要かつ困難なものにしている。
データ駆動型RCAモデルが数多く提案されているが、既存のベンチマークは過度に単純化され、現実の状態を捉えることができないことが多い。
予備的な研究では、単純なルールベースの手法は、広く使用されている4つのベンチマークにおいて、最先端(SOTA)モデルにマッチするか、あるいは性能を上回り得ることを示し、ベンチマークの単純さによる性能過大評価を示唆している。
そこで我々は,一般的なRCAベンチマークを体系的に解析し,障害注入,コールグラフ設計,テレメトリパターンの鍵となる限界を同定する。
これらの知見に基づいて、我々は、より現実的なベンチマークを生成する自動化されたフレームワークを開発し、9,152インジェクションから1430の検証済み障害ケースのデータセットを生成し、階層的な基盤構造ラベルとSLIの影響を伴って、動的ワークロード下で25の障害タイプをカバーした。
このデータセット上での11のSOTAモデルの再評価では、Top@1の精度が低く(平均0.21、ベスト0.37)、実行時間が大幅に長い。
私たちの分析では、スケーラビリティの問題、可観測性の盲点、モデリングボトルネックの3つの一般的な障害パターンを強調しています。
関連論文リスト
- STAR : Bridging Statistical and Agentic Reasoning for Large Model Performance Prediction [78.0692157478247]
本稿では,知識駆動型エージェント推論を用いて,データ駆動型静的予測を橋渡しするフレームワークSTARを提案する。
STARはスコアベースとランクベースの両方の基準線を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-12T16:30:07Z) - Evaluating and Enhancing the Vulnerability Reasoning Capabilities of Large Language Models [15.849480549367684]
本稿では,DAG生成タスクとして脆弱性推論をモデル化する新しいフレームワークであるDAGVulを提案する。
さらにReinforcement Learning with Verifiable Rewards (RLVR)を導入することで、モデル推論トレースをプログラム固有の論理と整合させる。
我々のフレームワークは、すべてのベースラインに対して平均18.9%の推論F1スコアを改善します。
論文 参考訳（メタデータ） (2026-02-06T13:19:45Z) - Simplicity Prevails: The Emergence of Generalizable AIGI Detection in Visual Foundation Models [15.709482146201283]
現代のビジョン・ファンデーション・モデル(Vision Foundation Models)の凍結した特徴に基づいて訓練された単純な線形分類器は、新しい最先端技術を確立している。
この基準線は標準ベンチマーク上の特別な検出器と一致し、また、ウィジェット内のデータセット上では決定的に優れていることを示す。
我々は、AIの法医学におけるパラダイムシフトを提唱し、静的ベンチマークの過度な適合から、ファンデーションモデルの進化する世界の知識を現実の信頼性に活用することへと移行した。
論文 参考訳（メタデータ） (2026-02-02T07:20:02Z) - How Reliable are Confidence Estimators for Large Reasoning Models? A Systematic Benchmark on High-Stakes Domains [7.845652284569666]
大規模推論モデルの誤校正は、高い領域における信頼性を損なう。
本稿では,6つの LRM から得られた347,496 個の推論トレースの公開リソースである Reasoning Model Confidence Estimation Benchmark (RMCB) を紹介する。
論文 参考訳（メタデータ） (2026-01-13T01:55:48Z) - Labels Matter More Than Models: Quantifying the Benefit of Supervised Time Series Anomaly Detection [56.302586730134806]
時系列異常検出(TSAD)は、しばしばラベル不足によって制約される重要なデータマイニングタスクである。
現在の研究は、主に教師なし時系列異常検出に焦点を当てている。
本稿では,アーキテクチャの複雑さがTSADの最適経路である,という前提に挑戦する。
論文 参考訳（メタデータ） (2025-11-20T08:32:49Z) - Beyond Model Ranking: Predictability-Aligned Evaluation for Time Series Forecasting [18.018179328110048]
スペクトルコヒーレンスに基づく予測可能性整合診断フレームワークを提案する。
予測可能性ドリフト(predictability drift, 予測可能性ドリフト)の最初の体系的な証拠として, タスクの予測困難度が時間とともに急激に変化することを示す。
複雑なモデルは予測可能性の低いデータより優れているのに対し、線形モデルは予測可能なタスクに非常に効果的である。
論文 参考訳（メタデータ） (2025-09-27T02:56:06Z) - Rethinking Evaluation of Infrared Small Target Detection [105.59753496831739]
本稿では,画素レベルと目標レベルのパフォーマンスを取り入れたハイブリッドレベルのメトリクスを導入し,システム的エラー解析手法を提案し,クロスデータセット評価の重要性を強調した。
標準化されたベンチマークを容易にするオープンソースツールキットがリリースされた。
論文 参考訳（メタデータ） (2025-09-21T02:45:07Z) - RoHOI: Robustness Benchmark for Human-Object Interaction Detection [78.18946529195254]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。
HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。
我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
論文 参考訳（メタデータ） (2025-07-12T01:58:04Z) - SHARDeg: A Benchmark for Skeletal Human Action Recognition in Degraded Scenarios [3.0519884745675485]
骨格的人間行動認識(SHAR)は、多くのCVパイプラインにおいて、リアルタイムおよびエッジで動作する。
これはSkeletal Human Action Recognition (SHAR)によって実証されており、多くのCVパイプラインにおいてリアルタイムおよびエッジで運用されている。
従来検討されていなかった劣化形態が,モデル精度に大きな影響を与えることを示すことで,このベンチマークの必要性を実証する。
劣化したSHARデータにおけるフレームの時間的規則性は、モデル性能の違いの主要な要因である可能性が高い。
論文 参考訳（メタデータ） (2025-05-23T15:52:31Z) - Towards Robust Universal Information Extraction: Benchmark, Evaluation, and Solution [66.11004226578771]
既存の堅牢なベンチマークデータセットには2つの重要な制限がある。
単一の情報抽出(IE)タスクに対して、限られた範囲の摂動しか生成しない。
LLM(Large Language Models)の強力な生成機能を考慮すると、ruIE-Benchと呼ばれるRobust UIEのための新しいベンチマークデータセットを導入する。
データのうち、 textbf15% しかトレーニングしない場合、3つの IE タスクに対して、平均 textbf7.5% の相対的なパフォーマンス改善につながることを示す。
論文 参考訳（メタデータ） (2025-03-05T05:39:29Z) - Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。
データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
論文 参考訳（メタデータ） (2024-11-30T10:56:30Z) - PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis [14.298235969992877]
単一細胞における摂動応答モデリングのための包括的フレームワークを提案する。
私たちのアプローチには、モジュラーでユーザフレンドリなモデル開発と評価プラットフォームが含まれています。
モード崩壊など、広く使われているモデルの限界を強調します。
論文 参考訳（メタデータ） (2024-08-20T07:40:20Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。