論文の概要: CodeAD: Synthesize Code of Rules for Log-based Anomaly Detection with LLMs

• arxiv url: http://arxiv.org/abs/2510.22986v1
• Date: Mon, 27 Oct 2025 04:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.446011
• Title: CodeAD: Synthesize Code of Rules for Log-based Anomaly Detection with LLMs
• Title（参考訳）: CodeAD: LLMを用いたログベース異常検出のためのルールコード合成
• Authors: Junjie Huang, Minghua He, Jinyang Liu, Yintong Huo, Domenico Bianculli, Michael R. Lyu,
• Abstract要約: 我々は,大規模言語モデル(LLM)を用いて,LogAD用の軽量Pythonルール関数を自動的に合成する新しいフレームワークであるCodeADを提案する。 CodeADは、正確性と抽象化要件を満たすまで、反復的にルールを生成し、テストし、修復し、洗練するエージェントワークフローを採用している。 3つの公開データセットに関する包括的な実験は、CodeADが最先端のベースラインよりも平均3.6%のF1スコアを絶対的に向上していることを示しています。
• 参考スコア（独自算出の注目度）: 34.176333157032076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Log-based anomaly detection (LogAD) is critical for maintaining the reliability and availability of large-scale online service systems. While machine learning, deep learning, and large language models (LLMs)-based methods have advanced the LogAD, they often suffer from limited interpretability, high inference costs, and extensive preprocessing requirements, limiting their practicality for real-time, high-volume log analysis. In contrast, rule-based systems offer efficiency and transparency, but require significant manual effort and are difficult to scale across diverse and evolving environments. In this paper, We present CodeAD, a novel framework that automatically synthesizes lightweight Python rule functions for LogAD using LLMs. CodeAD introduces a hierarchical clustering and anchor-grounded sampling strategy to construct representative contrastive log windows, enabling LLMs to discern discriminative anomaly patterns. To ensure robustness and generalizability, CodeAD employs an agentic workflow that iteratively generates, tests, repairs, and refines the rules until it meets correctness and abstraction requirements. The synthesized rules are interpretable, lightweight, and directly executable on raw logs, supporting efficient and transparent online anomaly detection. Our comprehensive experiments on three public datasets (BGL, Hadoop, Thunderbird) demonstrate that CodeAD achieves an average absolute improvement of 3.6% F1 score over the state-of-the-art baselines, while processing large datasets up to 4x faster and at a fraction of the cost (total LLM invocation cost under 4 USD per dataset). These results highlight CodeAD as a practical and scalable solution for online monitoring systems, enabling interpretable, efficient, and automated LogAD in real-world environment.
• Abstract（参考訳）: ログベースの異常検出(LogAD)は、大規模オンラインサービスシステムの信頼性と可用性を維持する上で重要である。 機械学習、ディープラーニング、および大規模言語モデル(LLM)ベースの手法がLogADを進歩させた一方で、それらは多くの場合、限定的な解釈可能性、高い推論コスト、広範な事前処理要件に悩まされ、リアルタイムで高ボリュームなログ分析の実用性に制限されている。 対照的に、ルールベースのシステムは効率性と透明性を提供するが、かなりの手作業が必要であり、多様で進化する環境にまたがるスケールが困難である。 本稿では,LLMを用いたLogAD用の軽量Pythonルール関数を自動生成する新しいフレームワークであるCodeADを提案する。 CodeADは、階層的なクラスタリングとアンカーグラウンドのサンプリング戦略を導入し、典型的な対照的なログウィンドウを構築し、LLMが識別的異常パターンを識別できるようにする。 堅牢性と一般化性を保証するため、CodeADはエージェントワークフローを使用して、正確性と抽象化要件を満たすまで、反復的にルールを生成し、テストし、修復し、洗練する。 合成されたルールは解釈可能で、軽量で、生ログ上で直接実行可能であり、効率的で透明なオンライン異常検出をサポートする。 当社の3つの公開データセット(BGL、Hadoop、Thunderbird)に関する総合的な実験では、CodeADが最先端のベースラインに対して平均3.6%のF1スコアを達成し、大きなデータセットを最大4倍高速に処理し、コスト(データセット当たり4USドル未満のLLM呼び出しコスト)で処理することを示した。 これらの結果は、CodeADを現実の環境で解釈可能で効率的で自動化されたLogADを可能にする、オンライン監視システムのための実用的でスケーラブルなソリューションとして強調している。

関連論文リスト

• RTLRepoCoder: Repository-Level RTL Code Completion through the Combination of Fine-Tuning and Retrieval Augmentation [6.428086269916113]
  RTLRepoCoderは,レポジトリレベルのVerilogコード補完のために,特定の微調整および検索型拡張生成(RAG)を組み込んだ画期的なソリューションである。 提案手法は,GPT-4 および高度なドメイン固有 LLM の編集類似性および実行一致率を大幅に上回る,公開ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-04-11T09:04:50Z)
• GateLens: A Reasoning-Enhanced LLM Agent for Automotive Software Release Analytics [9.549568621873386]
  GateLensは、自動車分野のデータ分析のためのLLMベースのシステムである。 遅くて不透明でメンテナンスにコストがかかる従来のマルチエージェントや計画ベースのシステムとは異なり、GateLensはスピード、透明性、信頼性を強調している。
  論文  参考訳（メタデータ） (2025-03-27T17:48:32Z)
• Beyond Next Token Probabilities: Learnable, Fast Detection of Hallucinations and Data Contamination on LLM Output Distributions [60.43398881149664]
  LLM出力シグナチャの効率的な符号化を訓練した軽量アテンションベースアーキテクチャであるLOS-Netを紹介する。 非常に低い検出レイテンシを維持しながら、さまざまなベンチマークやLLMで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-18T09:04:37Z)
• Adapting Large Language Models for Parameter-Efficient Log Anomaly Detection [22.804501061898616]
  Log Anomaly Detection (LAD) は、システムのセキュリティと状態を評価する上で重要なログデータの非定型パターンを特定することを目指している。 大規模言語モデル(LLM)は様々な分野で大きな成功を収めてきたが、ログ異常の検出にLLMを使うことは、ほとんど探索されていない。 LLMをLADに適応させるために,パラメータ効率のよい微調整技術(PEFT)について検討する。
  論文  参考訳（メタデータ） (2025-03-11T05:00:19Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Log-based Anomaly Detection based on EVT Theory with feedback [31.949892354842525]
  本研究では,SeaLogと呼ばれる高精度で軽量かつ適応的なログベースの異常検出フレームワークを提案する。 本稿では,リアルタイムな異常検出を行うために,軽量で動的に成長するトリエ構造を用いたTrie-based Detection Agent (TDA)を提案する。 ログデータの進化に対応してTDAの精度を高めるため,専門家からフィードバックを得られるようにした。
  論文  参考訳（メタデータ） (2023-06-08T08:34:58Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。