論文の概要: CelerLog: Fast Log Parsing via Dynamic Routing
- arxiv url: http://arxiv.org/abs/2605.26005v1
- Date: Mon, 25 May 2026 16:22:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:20.466945
- Title: CelerLog: Fast Log Parsing via Dynamic Routing
- Title(参考訳): CelerLog: 動的ルーティングによる高速ログ解析
- Authors: Shiwen Shan, Yintong Huo, Minxing Wang, Zhiying Wu, Yuxin Su, Zibin Zheng,
- Abstract要約: 本稿では,高速かつ効果的なログ解析システムであるCelerLogを提案する。
我々はCelerLogが最先端のベースラインよりも高いパフォーマンスを実現していることを示す。
トークン消費を80.2%減らし94.1%減らし、LLMの呼び出しを86.4%減らして90.9%減らす。
- 参考スコア(独自算出の注目度): 37.99576119750987
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Log parsing is a fundamental step for automated log analysis, which transforms raw log messages into structured formats. Existing syntax-based parsers struggle with complex logs because they lack semantic reasoning ability. Emerging LLM-powered semantic parsers achieve high accuracy but suffer from prohibitive latency and token costs because they apply semantic inference across all logs. Our key observation is that not all logs necessitate complex semantic understanding: a vast majority of logs exhibit repetitive patterns that can be extracted via straightforward statistical analysis. Driven by this insight, we propose CelerLog, a fast and effective log parser. CelerLog introduces a dynamic routing mechanism to classify logs into dense and sparse groups. Logs with strong statistical patterns (dense groups) are processed by an efficient statistical processor, whereas the sparse groups lacking such patterns are routed to an LLM for semantic inference. This hybrid strategy avoids unnecessary LLM invocations. Extensive experiments on 14 public datasets show that CelerLog achieves leading performance over state-of-the-art baselines and is 7.9x to 18.6x faster than LLM methods and up to 1.5x faster than Drain. Additionally, it reduces costs by decreasing token consumption by 80.2% - 94.1% and LLM invocations by 86.4% - 90.9%.
- Abstract(参考訳): ログ解析は、生のログメッセージを構造化フォーマットに変換する自動ログ解析の基本的なステップである。
既存の構文ベースのパーサは、意味論的推論能力がないため、複雑なログに苦労する。
LLMを利用したセマンティックパーザは高い精度を達成するが、すべてのログにセマンティック推論を適用するため、遅延やトークンコストが禁止される。
私たちのキーとなる観察は、すべてのログが複雑なセマンティック理解を必要とするわけではないということです。
この洞察に基づいて、高速で効果的なログパーサであるCelerLogを提案する。
CelerLogは、ログを高密度でスパースなグループに分類する動的ルーティングメカニズムを導入している。
強い統計パターン(密度群)を持つログは効率的な統計処理によって処理されるが、そのようなパターンを欠いたスパース群は意味推論のためにLLMにルーティングされる。
このハイブリッド戦略は、不要なLLM呼び出しを避ける。
14のパブリックデータセットに対する大規模な実験によると、CelerLogは最先端のベースラインよりも高いパフォーマンスを実現しており、LLMメソッドよりも7.9倍から18.6倍、Drainより1.5倍高速である。
さらに、トークン消費を80.2%減らし94.1%減らし、LSMの呼び出しを86.4%減らして90.9%減らす。
関連論文リスト
- Step-Level Sparse Autoencoder for Reasoning Process Interpretation [48.99201531966593]
大規模言語モデル(LLM)は、Chain-of-Thought(CoT)推論を通じて、強力な複雑な推論機能を実現している。
本稿では,ステップレベルスパースオートエンコーダ (SSAE) を提案する。
複数の基本モデルと推論タスクの実験により,抽出した特徴の有効性が示された。
論文 参考訳(メタデータ) (2026-03-03T14:25:02Z) - OrLog: Resolving Complex Queries with LLMs and Probabilistic Reasoning [51.58235452818926]
そこで我々は,論理的推論から述語レベルの妥当性推定を分離するニューロシンボリック検索フレームワークOrLogを紹介する。
大規模言語モデル (LLM) は1つの復号のない前方通過において原子述語に対する可視性スコアを提供し、確率論的推論エンジンはクエリ満足度の後方確率を導出する。
論文 参考訳(メタデータ) (2026-01-30T15:31:58Z) - LLM-SrcLog: Towards Proactive and Unified Log Template Extraction via Large Language Models [19.933913707655467]
LLM-SrcLogは、ログテンプレート解析のためのプロアクティブで統一されたフレームワークである。
デプロイ前にソースコードから直接テンプレートを抽出する。
利用可能なコードなしでログのデータ駆動解析を補完する。
論文 参考訳(メタデータ) (2025-12-04T05:30:15Z) - Last Layer Logits to Logic: Empowering LLMs with Logic-Consistent Structured Knowledge Reasoning [55.55968342644846]
大規模言語モデル(LLM)は、膨大な非構造化テキストの事前学習を通じて、自然言語推論タスクにおいて優れた性能を達成する。
LLM出力の論理的欠陥を修正するために,ロジット強化とロジットフィルタリングをコアモジュールとして組み込んだ textitLogits-to-Logic フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-11T07:08:27Z) - Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。
現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。
Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
論文 参考訳(メタデータ) (2025-08-04T16:14:03Z) - LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
LLM機能と統合された新しいログであるLog-LLMを紹介する。
粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。
提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
論文 参考訳(メタデータ) (2024-08-25T05:34:24Z) - LibreLog: Accurate and Efficient Unsupervised Log Parsing Using Open-Source Large Language Models [3.7960472831772774]
本稿では,非教師なしのログ解析手法であるLibreLogを紹介する。
LogHub-2.0の評価では、LibreLogは最先端のLCMに比べて25%高い解析精度とプロセス2.7倍の高速化を実現している。
論文 参考訳(メタデータ) (2024-08-02T21:54:13Z) - Stronger, Cheaper and Demonstration-Free Log Parsing with LLMs [18.240096266464544]
トレーニングプロセスやラベル付きデータを必要としない,費用対効果の高いLCMベースのログであるLogBatcherを提案する。
我々は16の公開ログデータセットの実験を行い、ログ解析にLogBatcherが有効であることを示した。
論文 参考訳(メタデータ) (2024-06-10T10:39:28Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳(メタデータ) (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。