論文の概要: Too many clients spoil the logs: distributed parsing, aggregation techniques and metrics

• arxiv url: http://arxiv.org/abs/2610.36946v1
• Date: Tue, 27 Oct 2026 10:03:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.254615
• Title: Too many clients spoil the logs: distributed parsing, aggregation techniques and metrics
• Title（参考訳）: あまりにも多くのクライアントがログを台無しにしている - 分散解析、集約技術、メトリクス
• Abstract要約: 本稿では,分散解析の実証的研究とその課題について報告する。 集約手法と組み合わせて,5つの異なる解析アルゴリズムの性能を評価する。
• 参考スコア（独自算出の注目度）: 3.5868940758100867
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Log messages are employed to identify anomalies in IoT systems and have been widely used across many applications. To enable collaboration among infrastructures belonging to different organizations, federated log anomaly detection has been thoroughly investigated for this purpose, often assuming the availability of ground truth log templates. However, this is typically not the case, as it is still necessary to depend on log parsers to extract log templates at inference time, while the design and deployment of such parsers in distributed environments remains largely an open problem. To this end, we report on an empirical investigation of distributed parsing and its key challenges, providing insights and lessons learned towards closing the gap between research and application. To further refine and contextualize the resulting benchmarks, we examine and introduce new metrics that provide a more comprehensive view for evaluating distributed parsers and how they behave in distributed environments. We propose a set of lessons learned and recommendations to support the design, deployment, and evaluation of distributed parsers. In particular, we evaluate the performance of five distinct parsing algorithms in combination with aggregation techniques that allow a unified agreement of event-template mappings across all participating clients, a prerequisite for federated log anomaly detection. In total, 6,720 distinct distributed configurations were tested for this purpose.
• Abstract（参考訳）: ログメッセージはIoTシステムの異常を識別するために使用され、多くのアプリケーションで広く使用されている。 異なる組織に属するインフラ間の協調を可能にするため、フェデレートされたログ異常検出はこの目的のために徹底的に研究され、多くの場合、地上の真理ログテンプレートが利用可能であると仮定される。 しかし、一般的にはそうではない。ログパーサに頼って推論時にログテンプレートを抽出する必要があるのに対して、そのようなパーサを分散環境で設計およびデプロイすることは、ほとんどの場合、未解決の問題である。 そこで本研究では,分散解析の実証的研究とその課題について報告し,研究と応用のギャップを埋めるために学んだ知見と教訓を提供する。 結果のベンチマークをさらに洗練・コンテキスト化するために,分散パーサ評価のためのより包括的なビューと,それらが分散環境でどのように振る舞うかを示す新しい指標を検討,導入する。 本稿では,分散パーサの設計,展開,評価を支援するために,学習とレコメンデーションのセットを提案する。 特に,連合ログ異常検出の前提条件である,全クライアント間のイベントテンプレートマッピングの統一的な一致を可能にするアグリゲーション手法と組み合わせて,5つの異なる解析アルゴリズムの性能を評価する。 合計で6,720の異なる分散構成がテストされた。

関連論文リスト

• Log Anomaly Detection with Large Language Models via Knowledge-Enriched Fusion [0.0]
  EnrichLogは、トレーニングなし、エントリベースの異常検出フレームワークである。 コーパス固有の知識とサンプル固有の知識の両方で、生ログエントリを豊かにする。 大規模システムログベンチマークのデータセットを4つ評価した。
  論文  参考訳（メタデータ） (2025-12-12T19:24:54Z)
• System Log Parsing with Large Language Models: A Review [2.2779174914142346]
  大規模言語モデル (LLM) はLLMに基づくログ解析の新しい研究分野を導入した。 有望な結果にもかかわらず、この比較的新しい研究分野におけるアプローチの構造化された概要は存在しない。 この研究は29 LLMベースのログ解析手法を体系的にレビューする。
  論文  参考訳（メタデータ） (2025-04-07T09:41:04Z)
• Combine and Conquer: A Meta-Analysis on Data Shift and Out-of-Distribution Detection [30.377446496559635]
  本稿では,アウト・オブ・ディストリビューション(OOD)検出スコアをシームレスに組み合わせるための普遍的アプローチを提案する。 我々のフレームワークは、検出スコアにおける将来の発展にとって容易であり、この文脈で意思決定境界を結合する最初の手段である。
  論文  参考訳（メタデータ） (2024-06-23T08:16:44Z)
• How to Evaluate Entity Resolution Systems: An Entity-Centric Framework with Application to Inventor Name Disambiguation [1.7812428873698403]
  本稿では,要約統計をモニタリングする統合フレームワークと統合したエンティティ中心のデータラベリング手法を提案する。 これらのベンチマークデータセットは、モデルトレーニングやさまざまな評価タスクに使用できる。
  論文  参考訳（メタデータ） (2024-04-08T15:53:29Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization [58.704753031608625]
  時系列は、機械学習研究における最も困難なモダリティの1つである。 時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。 時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
  論文  参考訳（メタデータ） (2023-08-04T12:27:11Z)
• Robust Detection of Lead-Lag Relationships in Lagged Multi-Factor Models [61.10851158749843]
  データ固有のリード-ラグ関係を発見することで、重要な洞察を得ることができる。 階層化多要素モデルにおけるリードラグ関係のロバスト検出のためのクラスタリング駆動手法を開発した。
  論文  参考訳（メタデータ） (2023-05-11T10:30:35Z)
• Multi-Source Anomaly Detection in Distributed IT Systems [0.2538209532048867]
  分散システムにおける異常検出のタスクには、分散トレースとシステムログデータからの共同表現を利用します。 我々は、ログと分散トレースの両方の異常検出の一般化として使用される学習タスク(次のテンプレート予測NTP)を形式化する。
  論文  参考訳（メタデータ） (2021-01-13T10:11:32Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。