論文の概要: CloudIR-Bench: A Benchmark for Root Cause Analysis and Mitigation of Cloud Incidents

• arxiv url: http://arxiv.org/abs/2610.29185v1
• Date: Wed, 21 Oct 2026 04:15:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.202655
• Title: CloudIR-Bench: A Benchmark for Root Cause Analysis and Mitigation of Cloud Incidents
• Title（参考訳）: CloudIR-Bench: クラウドインシデントの分析と緩和のためのベンチマーク
• Abstract要約: 根本原因分析(RCA)と緩和予測はインシデント管理に不可欠である。 近年の研究では,Large Language Models (LLMs) を用いて根本原因と緩和行動を予測した。 我々は、インシデントレポートベースのRCAと緩和予測のためのデータセットと評価フレームワークを提供する最初の公開ベンチマークであるCloudIR-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 17.229359845227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Root cause analysis (RCA) and mitigation prediction are essential for incident management, enabling the identification of underlying causes of failures and ensuring the reliability of complex cloud-based systems. With rising incident volume and system complexity, incident reports have become a valuable resource for these tasks. Recent studies have shown promising results using Large Language Models (LLMs) to predict root causes and mitigation actions from textual descriptions in incident reports. Despite these advances, further progress is hindered by the lack of publicly available datasets; existing work relies on private data, which limits transparency, reproducibility, and generalization. To address this gap, we introduce CloudIR-Bench, the first publicly available benchmark providing a dataset and evaluation framework for incident report-based RCA and mitigation prediction. Curated from incident reports across five leading cloud-based systems, CloudIR-Bench captures a diverse range of real-world production scenarios representing authentic failures and engineers' reasoning. We also release an open-source evaluation framework that includes eight recent LLM-based approaches. Our comprehensive evaluation includes zero-shot and in-context learning experiments, along with a qualitative analysis to identify where and why LLMs fail. Benchmarking results reveal the capabilities and limitations of existing LLMs in this domain. The benchmark, including the dataset, framework and supplementary materials, is available at https://github.com/hoangtnm/CloudIR-Bench.
• Abstract（参考訳）: 根本原因分析(RCA)と緩和予測はインシデント管理に不可欠であり、障害の原因を特定し、複雑なクラウドベースのシステムの信頼性を確保する。 インシデントボリュームの増大とシステム複雑性により、インシデントレポートはこれらのタスクにとって貴重なリソースになっている。 近年,Large Language Models (LLMs) を用いて,インシデントレポートのテキスト記述から根本原因と緩和行動を予測した。 既存の作業は、透明性、再現性、一般化を制限するプライベートデータに依存している。 このギャップに対処するため、我々は、インシデントレポートベースのRCAと緩和予測のためのデータセットと評価フレームワークを提供する最初の公開ベンチマークであるCloudIR-Benchを紹介した。 5つの主要なクラウドベースシステムにわたるインシデントレポートから算出されたCloudIR-Benchは、真の障害とエンジニアの推論を表すさまざまな実世界の実運用シナリオをキャプチャする。 また、最近の8つのLCMベースのアプローチを含むオープンソースの評価フレームワークもリリースしています。 我々の総合的な評価には、ゼロショットとインコンテキストの学習実験と、LLMが失敗する場所と理由を特定する定性的な分析が含まれる。 ベンチマークの結果は、この領域における既存のLLMの機能と限界を明らかにしている。 データセット、フレームワーク、補足材料を含むベンチマークはhttps://github.com/hoangtnm/CloudIR-Bench.comで公開されている。

関連論文リスト

• URA-NER: A Unified Retrieval-Augmented Framework with Retrieval Alignment and Uncertainty Reduction for Low-Resource NER [16.791824164877145]
  大規模言語モデル(LLM)に基づくコンテキスト内学習は、パフォーマンスボトルネックを軽減する上で有望な可能性を示している。 既存の手法はいまだに検索ミスや生成の不確実性の問題に直面している。 本稿では,3つの鍵成分を含む新しい統合検索拡張フレームワークURA-NERを提案する。
  論文  参考訳（メタデータ） (2026-09-21T10:04:43Z)
• LLM-based Agents for Forecasting and Prediction: Methods, Training, Evaluation, and Applications [76.41731220830714]
  大規模言語モデル(LLM)は、言語ベースの推論と時間的データ、エビデンス検索、外部ツール、反復予測を組み合わせた予測システムをサポートするようになった。 ファイナンス、天気、健康、エネルギー、オペレーションの応用について検討し、評価に使用されるベンチマークとデータセットを要約する。
  論文  参考訳（メタデータ） (2026-08-24T10:02:39Z)
• Causal Ensemble Agent: Hierarchical Causal Discovery with LLM-guided Expert Reweighting [95.24017293537025]
  Causal Ensemble Agent (CEA) は、さまざまなグラフレベルにわたる統計発見の専門家による構造的洞察を集約する新しいフレームワークである。 CEAは、幅広い因果発見手法において、最も優れた総合的なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-06-09T09:09:07Z)
• Nexus : An Agentic Framework for Time Series Forecasting [72.73790673303154]
  時系列予測は、ニュースやイベントのような構造化されていないコンテキストデータによる推論を必要とする。 予測を特殊なステージに分解するマルチエージェント予測フレームワークであるNexusを紹介します。 本研究では,現在のLLMは,従来よりも強い固有予測能力を有することを示す。
  論文  参考訳（メタデータ） (2026-05-14T05:12:13Z)
• Consistency Analysis of Sentiment Predictions using Syntactic & Semantic Context Assessment Summarization (SSAS) [0.0]
  本稿では,文脈設定のためのSyntactic & Semantic Context Assessment Summarization(SSAS)フレームワークを提案する。 我々のSSASフレームワークは、ノイズ除去と感情予測の改善により、データ品質を最大30%向上させることができることを示した。
  論文  参考訳（メタデータ） (2026-04-16T21:52:11Z)
• TAMO: Fine-Grained Root Cause Analysis via Tool-Assisted LLM Agent with Multi-Modality Observation Data in Cloud-Native Systems [42.50432360919637]
  クラウドネイティブシステムにおける大規模言語モデル(LLM)による根本原因分析(RCA)は、現代のソフトウェア運用とメンテナンスにおいて重要なトピックとなっている。 既存のLLMベースのアプローチでは、マルチモード入力制約、コンテキストウィンドウ制限、動的依存グラフの3つの大きな課題に直面している。 細粒度RCA,すなわちTAMOのための多モード観測データを用いたツール支援LDMエージェントを提案する。
  論文  参考訳（メタデータ） (2025-04-29T06:50:48Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。