論文の概要: VarParser: Unleashing the Neglected Power of Variables for LLM-based Log Parsing

• arxiv url: http://arxiv.org/abs/2601.22676v1
• Date: Fri, 30 Jan 2026 07:49:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.304895
• Title: VarParser: Unleashing the Neglected Power of Variables for LLM-based Log Parsing
• Title（参考訳）: VarParser: LLMベースのログ解析のための変数の負のパワーを解放する
• Authors: Jinrui Sun, Tong Jia, Minghua He, Ying Li,
• Abstract要約: ログは、大規模なオンラインサービスシステムの障害を診断するエンジニアにとって、主要な情報源となる。 大規模言語モデル(LLM)の進歩により、その強力なテキスト理解能力を活用することは、正確なログ解析に有効であることが証明された。 既存のLLMベースのログはすべて、ログ解析に対する変数部分の潜在的貢献を無視して、ログの一定部分に焦点を当てている。
• 参考スコア（独自算出の注目度）: 10.173320661352257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Logs serve as a primary source of information for engineers to diagnose failures in large-scale online service systems. Log parsing, which extracts structured events from massive unstructured log data, is a critical first step for downstream tasks like anomaly detection and failure diagnosis. With advances in large language models (LLMs), leveraging their strong text understanding capabilities has proven effective for accurate log parsing. However, existing LLM-based log parsers all focus on the constant part of logs, ignoring the potential contribution of the variable part to log parsing. This constant-centric strategy brings four key problems. First, inefficient log grouping and sampling with only constant information. Second, a relatively large number of LLM invocations due to constant-based cache, leading to low log parsing accuracy and efficiency. Third, a relatively large number of consumed constant tokens in prompts leads to high LLM invocation costs. At last, these methods only retain placeholders in the results, losing the system visibility brought by variable information in logs. Facing these problems, we propose a variable-centric log parsing strategy named VarParser. Through variable contribution sampling, variable-centric parsing cache, and adaptive variable-aware in-context learning, our approach can efficiently capture the variable parts of logs and leverage their contributions to parsing. By introducing variable units, we preserve rich variable information, enhancing the integrity of log parsing results. Extensive evaluations on large-scale datasets demonstrate that VarParser achieves higher accuracy compared to existing methods, significantly improving parsing efficiency while reducing the LLM invocation costs.
• Abstract（参考訳）: ログは、大規模なオンラインサービスシステムの障害を診断するエンジニアにとって、主要な情報源となる。 ログ解析は、大規模な非構造化ログデータから構造化イベントを抽出するものであり、異常検出や障害診断といった下流タスクにとって重要な第一歩である。 大規模言語モデル(LLM)の進歩により、その強力なテキスト理解能力を活用することは、正確なログ解析に有効であることが証明された。 しかし、既存のLLMベースのログパーサは、すべてログの定数部分に焦点を当てており、ログパーシングに対する変数部分の潜在的貢献を無視している。 この定数中心戦略は4つの重要な問題をもたらす。 まず、一定の情報しか持たない非効率なロググループ化とサンプリングを行う。 第2に、定数ベースのキャッシュによる比較的多くのLCM呼び出しがあり、ログ解析の精度と効率が低い。 第3に、プロンプト内で消費される定数トークンが比較的多いため、LCMの呼び出しコストが高くなる。 最終的に、これらのメソッドは結果のプレースホルダーのみを保持し、ログ内の変数情報によって引き起こされるシステムの可視性を失う。 これらの問題に直面して,変数中心のログ解析戦略であるVarParserを提案する。 変数コントリビューションサンプリング,変数中心のパーシングキャッシュ,適応型変数認識型インコンテキスト学習を通じて,本手法はログの可変部分を効率よく捕捉し,解析へのコントリビューションを活用することができる。 可変単位を導入することにより、豊富な可変情報を保存し、ログ解析結果の整合性を高める。 大規模データセットに対する大規模な評価は、VarParserが既存の手法よりも高い精度を実現し、LLM呼び出しコストを削減しつつ解析効率を大幅に改善していることを示している。

関連論文リスト

• SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
  セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。 本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。 ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-01-05T21:02:49Z)
• Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
  大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。 本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
  論文  参考訳（メタデータ） (2024-10-11T03:52:17Z)
• LibreLog: Accurate and Efficient Unsupervised Log Parsing Using Open-Source Large Language Models [3.7960472831772774]
  本稿では,非教師なしのログ解析手法であるLibreLogを紹介する。 LogHub-2.0の評価では、LibreLogは最先端のLCMに比べて25%高い解析精度とプロセス2.7倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-08-02T21:54:13Z)
• LUNAR: Unsupervised LLM-based Log Parsing [34.344687402936835]
  LUNARは,効率的かつ市販のログ解析のための教師なし手法である。 我々の重要な洞察は、LSMは直接ログ解析に苦労するかもしれないが、それらの性能は比較分析によって大幅に向上できるということである。 大規模な公開データセットの実験は、LUNARが精度と効率の点で最先端のログクラフトを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-11T11:32:01Z)
• Stronger, Cheaper and Demonstration-Free Log Parsing with LLMs [18.240096266464544]
  トレーニングプロセスやラベル付きデータを必要としない,費用対効果の高いLCMベースのログであるLogBatcherを提案する。 我々は16の公開ログデータセットの実験を行い、ログ解析にLogBatcherが有効であることを示した。
  論文  参考訳（メタデータ） (2024-06-10T10:39:28Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We? [42.56249610409624]
  実世界のソフトウェアシステムにおけるログデータの特徴をよりよく反映できる,アノテーション付きログデータセットの新たなコレクションであるLoghub-2.0を提供する。 我々は、より厳密で実践的な設定で15の最先端ログを徹底的に再評価し、特に、既存のメトリクスの非バランスなデータ分布に対する感度を緩和する新しい評価基準を導入する。
  論文  参考訳（メタデータ） (2023-08-21T16:24:15Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。