論文の概要: A Two-Staged LLM-Based Framework for CI/CD Failure Detection and Remediation with Industrial Validation

• arxiv url: http://arxiv.org/abs/2506.03691v1
• Date: Wed, 04 Jun 2025 08:22:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.228139
• Title: A Two-Staged LLM-Based Framework for CI/CD Failure Detection and Remediation with Industrial Validation
• Title（参考訳）: 産業検証によるCI/CD故障検出と修復のための2段階LCMフレームワーク
• Authors: Weiyuan Xu, Juntao Luo, Tao Huang, Kaixin Sui, Jie Geng, Qijun Ma, Isami Akasaka, Xiaoxue Shi, Jing Tang, Peng Cai,
• Abstract要約: LogSageは、失敗するCI/CDログから根本原因分析とソリューション生成を実行するエンドツーエンドのLLMフレームワークである。 システムは、生産品質の大規模な産業用CI/CD環境で厳格に検証され、毎日3,000以上の実行が処理された。
• 参考スコア（独自算出の注目度）: 10.463978085229156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous Integration and Continuous Deployment (CI/CD) pipelines are pivotal to modern software engineering, yet diagnosing and resolving their failures remains a complex and labor-intensive challenge. In this paper, we present LogSage, the first end-to-end LLM-powered framework that performs root cause analysis and solution generation from failed CI/CD pipeline logs. During the root cause analysis stage, LogSage employs a specialized log preprocessing pipeline tailored for LLMs, which extracts critical error logs and eliminates noise to enhance the precision of LLM-driven root cause analysis. In the solution generation stage, LogSage leverages RAG to integrate historical resolution strategies and utilizes tool-calling to deliver actionable, automated fixes. We evaluated the root cause analysis stage using a newly curated open-source dataset, achieving 98\% in precision and 12\% improvement over naively designed LLM-based log analysis baselines, while attaining near-perfect recall. The end-to-end system was rigorously validated in a large-scale industrial CI/CD environment of production quality, processing more than 3,000 executions daily and accumulating more than 1.07 million executions in its first year of deployment, with end-to-end precision exceeding 88\%. These two forms of evaluation confirm that LogSage providing a scalable and practical solution to manage CI/CD pipeline failures in real-world DevOps workflows.
• Abstract（参考訳）: 継続的インテグレーションと継続的デプロイメント(CI/CD)パイプラインは、現代のソフトウェアエンジニアリングにとって重要なものだが、障害の診断と解決は、依然として複雑で労働集約的な課題である。 本稿では,CI/CDパイプラインログから根本原因分析とソリューション生成を行う,最初のエンドツーエンドのLCMフレームワークであるLogSageを提案する。 根本原因分析の段階では、LogSageはLLM用に調整された特殊なログ前処理パイプラインを使用して、臨界エラーログを抽出し、ノイズを除去し、LLM駆動根本原因分析の精度を高める。 ソリューション生成の段階では、LogSageはRAGを活用して過去の解決戦略を統合し、ツールコールを使用して実行可能な自動修正を提供する。 新たなオープンソースデータセットを用いて根本原因分析ステージの評価を行い, 根本原因解析の精度を98倍に向上し, 根本原因解析の精度を12%向上し, ほぼ完全なリコールを実現した。 エンドツーエンドシステムは、プロダクション品質の大規模な産業用CI/CD環境で厳格に検証され、3000以上の実行を毎日処理し、デプロイメント初年度に1億7700万以上の実行を蓄積し、エンドツーエンドの精度は88%を超えた。 これらの2つの評価形式は、現実のDevOpsワークフローでCI/CDパイプラインの障害を管理するためのスケーラブルで実用的なソリューションを提供するLogSageを確認している。

関連論文リスト

• AnomalyGen: An Automated Semantic Log Sequence Generation Framework with LLM for Anomaly Detection [25.83270938475311]
  AnomalyGenは、異常検出用に特別に設計された最初の自動ログ合成フレームワークである。 本フレームワークは,プログラム解析とChain-of-Thought推論(CoT推論)を統合し,反復的なログ生成と異常アノテーションを実現する。 合成ログでベンチマークデータセットを増大させると、最大F1スコアの3.7%の改善が観測される。
  論文  参考訳（メタデータ） (2025-04-16T16:54:38Z)
• LogLSHD: Fast Log Parsing with Locality-Sensitive Hashing and Dynamic Time Warping [2.415288727960745]
  大規模ソフトウェアシステムは、監視、診断、性能最適化に不可欠な大量のシステムログを生成する。 LogLSHDは解析時間において例外的な効率を示し、最先端の手法よりも優れています。 例えば、Drainと比較して、LogLSHDは平均パース時間を73%削減し、LogHub 2.0ベンチマークでは平均パース精度を15%向上した。
  論文  参考訳（メタデータ） (2025-04-02T23:08:04Z)
• DARS: Dynamic Action Re-Sampling to Enhance Coding Agent Performance by Adaptive Tree Traversal [55.13854171147104]
  大規模言語モデル(LLM)は、自然言語処理、データ分析、ソフトウェア開発など、さまざまな領域に革命をもたらした。 符号化エージェントのための新しい推論時間計算スケーリングアプローチである動的アクション再サンプリング(DARS)を提案する。 我々は、SWE-Bench Liteベンチマークに対する我々のアプローチを評価し、このスケーリング戦略がClude 3.5 Sonnet V2で55%のパス@kスコアを達成したことを実証した。
  論文  参考訳（メタデータ） (2025-03-18T14:02:59Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
  LLM機能と統合された新しいログであるLog-LLMを紹介する。 粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。 提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
  論文  参考訳（メタデータ） (2024-08-25T05:34:24Z)
• HELP: Hierarchical Embeddings-based Log Parsing [0.25112747242081457]
  ログは、ソフトウェアのメンテナンスと障害診断のための、第一級の情報ソースである。 ログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ解析タスクの前提条件である。 既存のオンライン解析アルゴリズムは、ログドリフトの影響を受けやすい。
  論文  参考訳（メタデータ） (2024-08-15T17:54:31Z)
• Face It Yourselves: An LLM-Based Two-Stage Strategy to Localize Configuration Errors via Logs [29.736051629726145]
  コンフィグレーションエラーはメンテナと新しいエンドユーザにとって大きな課題となる。 ログがほとんどのエンドユーザに容易にアクセス可能であることを考慮し、設定エラーのローカライズにログを利用する際の課題と機会を概説する予備的研究を行う。 予備研究から得られた知見に基づいて,エンドユーザーがログに基づいて根源構成特性をローカライズするためのLLMベースの2段階戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-31T10:47:38Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。