論文の概要: FusionLog: Cross-System Log-based Anomaly Detection via Fusion of General and Proprietary Knowledge
- arxiv url: http://arxiv.org/abs/2511.05878v1
- Date: Sat, 08 Nov 2025 06:30:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:44.634308
- Title: FusionLog: Cross-System Log-based Anomaly Detection via Fusion of General and Proprietary Knowledge
- Title(参考訳): FusionLog: 汎用知識の融合によるシステム間ログベースの異常検出
- Authors: Xinlong Zhao, Tong Jia, Minghua He, Xixuan Yang, Ying Li,
- Abstract要約: FusionLogはゼロラベルのクロスシステムによる新しい異常検出手法である。
汎用知識とプロプライエタリ知識の融合を実現し、ターゲットログをラベル付けせずにシステム間一般化を可能にする。
実験の結果、FusionLogは100%ゼロラベル設定で90%以上のF1スコアを達成することがわかった。
- 参考スコア(独自算出の注目度): 10.135000927533385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Log-based anomaly detection is critical for ensuring the stability and reliability of web systems. One of the key problems in this task is the lack of sufficient labeled logs, which limits the rapid deployment in new systems. Existing works usually leverage large-scale labeled logs from a mature web system and a small amount of labeled logs from a new system, using transfer learning to extract and generalize general knowledge across both domains. However, these methods focus solely on the transfer of general knowledge and neglect the disparity and potential mismatch between such knowledge and the proprietary knowledge of target system, thus constraining performance. To address this limitation, we propose FusionLog, a novel zero-label cross-system log-based anomaly detection method that effectively achieves the fusion of general and proprietary knowledge, enabling cross-system generalization without any labeled target logs. Specifically, we first design a training-free router based on semantic similarity that dynamically partitions unlabeled target logs into 'general logs' and 'proprietary logs.' For general logs, FusionLog employs a small model based on system-agnostic representation meta-learning for direct training and inference, inheriting the general anomaly patterns shared between the source and target systems. For proprietary logs, we iteratively generate pseudo-labels and fine-tune the small model using multi-round collaborative knowledge distillation and fusion based on large language model (LLM) and small model (SM) to enhance its capability to recognize anomaly patterns specific to the target system. Experimental results on three public log datasets from different systems show that FusionLog achieves over 90% F1-score under a fully zero-label setting, significantly outperforming state-of-the-art cross-system log-based anomaly detection methods.
- Abstract(参考訳): ログベースの異常検出は、Webシステムの安定性と信頼性を確保するために重要である。
このタスクの大きな問題の1つは、十分なラベル付きログの欠如であり、新しいシステムへの迅速なデプロイを制限している。
既存の研究は通常、成熟したWebシステムからの大規模ラベル付きログと、新しいシステムからの少量のラベル付きログを利用して、トランスファーラーニングを使用して、両方のドメインにまたがる一般的な知識を抽出し、一般化する。
しかし、これらの手法は一般知識の伝達にのみ焦点をあて、そのような知識と対象システムの独自知識との相違や潜在的なミスマッチを無視し、性能を制約する。
この制限に対処するためにFusionLogを提案する。これはゼロラベルのクロスシステムログに基づく新しい異常検出手法で、汎用知識とプロプライエタリ知識の融合を効果的に実現し、ラベル付きログを使わずにクロスシステム一般化を可能にする。
具体的には、まず、未ラベルのターゲットログを動的に'General logs'と'Prorietary logs'に分割する意味的類似性に基づいて、トレーニング不要のルータを設計する。
一般的なログでは、FusionLogは直接トレーニングと推論のために、システムに依存しないメタラーニングに基づく小さなモデルを採用し、ソースとターゲットシステム間で共有される一般的な異常パターンを継承する。
プロプライエタリなログに対して,大規模言語モデル (LLM) と小モデル (SM) に基づいて,複数ラウンドの協調的知識蒸留と融合を用いて,擬似ラベルを反復的に生成し,小モデルを微調整し,対象システム固有の異常パターンを認識する能力を高める。
異なるシステムからの3つの公開ログデータセットの実験結果から、FusionLogは完全なゼロラベル設定の下で90%以上のF1スコアを達成し、最先端のクロスシステムログベースの異常検出方法よりも大幅に優れていた。
関連論文リスト
- From Few-Label to Zero-Label: An Approach for Cross-System Log-Based Anomaly Detection with Meta-Learning [14.506853344375342]
システム間転送は重要な研究方向として特定されている。
ラベル付きターゲットシステムログの必要性を解消する,システムに依存しないメタラーニング手法であるFreeLogを提案する。
FreeLogは、ターゲットシステムから少量のラベル付きデータに依存する最先端のメソッドに匹敵するパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-07-26T05:38:51Z) - LogLLM: Log-based Anomaly Detection Using Large Language Models [7.7704116297749675]
大規模言語モデル(LLM)を活用するログベースの異常検出フレームワークであるLogLLMを提案する。
LogLLMはBERTを使用してログメッセージからセマンティックベクターを抽出し、変換器デコーダベースのモデルであるLlamaを使ってログシーケンスを分類する。
我々のフレームワークは、性能と適応性を高めるために設計された新しい3段階の手順によって訓練されている。
論文 参考訳(メタデータ) (2024-11-13T12:18:00Z) - LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。
具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。
そして、そのような知識を共有パラメータを介して対象領域に転送する。
論文 参考訳(メタデータ) (2024-01-09T12:55:21Z) - GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。
システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
論文 参考訳(メタデータ) (2023-09-12T04:21:30Z) - PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。
我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2023-01-25T16:34:43Z) - Leveraging Log Instructions in Log-based Anomaly Detection [0.5949779668853554]
本稿では,システムログからの信頼性と実用的な異常検出手法を提案する。
1000以上のGitHubプロジェクトのソースコードからログインストラクションを備えた異常検出モデルを構築することで、関連する作業の一般的な欠点を克服する。
提案手法はADLILogと呼ばれ,興味あるシステム(ターゲットシステム)からのログ命令とデータを組み合わせて,深層ニューラルネットワークモデルを学習する。
論文 参考訳(メタデータ) (2022-07-07T10:22:10Z) - LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak
Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。
本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。
我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文 参考訳(メタデータ) (2021-11-02T15:16:08Z) - Robust and Transferable Anomaly Detection in Log Data using Pre-Trained
Language Models [59.04636530383049]
クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。
システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-23T09:17:05Z) - Self-Attentive Classification-Based Anomaly Detection in Unstructured
Logs [59.04636530383049]
ログ表現を学習するための分類法であるLogsyを提案する。
従来の方法と比較して,F1スコアの平均0.25の改善を示す。
論文 参考訳(メタデータ) (2020-08-21T07:26:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。