論文の概要: Analyzing Logs of Large-Scale Software Systems using Time Curves Visualization
- arxiv url: http://arxiv.org/abs/2411.05533v1
- Date: Fri, 08 Nov 2024 12:42:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-11 14:55:25.654314
- Title: Analyzing Logs of Large-Scale Software Systems using Time Curves Visualization
- Title（参考訳）: 時間曲線可視化による大規模ソフトウェアシステムのログ解析
- Authors: Dmytro Borysenkov, Adriano Vogel, Sören Henning, Esteban Perez-Wohlfeil,
- Abstract要約: 従来の知識を使わずに,異なるアプリケーションから収集したログのメインイベントを,我々のアプローチで説明できることが示される。
その結果、パフォーマンスボトルネックとセキュリティリスクを特定するのに必要な時間の大幅な削減が期待できる。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Logs are crucial for analyzing large-scale software systems, offering insights into system health, performance, security threats, potential bugs, etc. However, their chaotic nature$\unicode{x2013}$characterized by sheer volume, lack of standards, and variability$\unicode{x2013}$makes manual analysis complex. The use of clustering algorithms can assist by grouping logs into a smaller set of templates, but lose the temporal and relational context in doing so. On the contrary, Large Language Models (LLMs) can provide meaningful explanations but struggle with processing large collections efficiently. Moreover, representation techniques for both approaches are typically limited to either plain text or traditional charting, especially when dealing with large-scale systems. In this paper, we combine clustering and LLM summarization with event detection and Multidimensional Scaling through the use of Time Curves to produce a holistic pipeline that enables efficient and automatic summarization of vast collections of software system logs. The core of our approach is the proposal of a semimetric distance that effectively measures similarity between events, thus enabling a meaningful representation. We show that our method can explain the main events of logs collected from different applications without prior knowledge. We also show how the approach can be used to detect general trends as well as outliers in parallel and distributed systems by overlapping multiple projections. As a result, we expect a significant reduction of the time required to analyze and resolve system-wide issues, identify performance bottlenecks and security risks, debug applications, etc.
- Abstract（参考訳）: ログは大規模ソフトウェアシステムの解析に不可欠であり、システムの健全性、パフォーマンス、セキュリティの脅威、潜在的なバグなどに関する洞察を提供する。
しかしながら、それらのカオス的性質$\unicode{x2013}$characterized by sheer volume, lack of standards, and variability$\unicode{x2013}$makes manual analysis complex。
クラスタリングアルゴリズムを使用することで、ログを小さなテンプレートのセットにグループ化するのを支援することができるが、そうする際の時間的およびリレーショナルコンテキストは失われる。
それとは対照的に、LLM(Large Language Models)は意味のある説明を提供するが、大規模なコレクションを効率的に処理するのに苦労する。
さらに、両方のアプローチの表現技法は、特に大規模システムを扱う場合、通常、平易なテキストまたは従来のチャート作成に限られる。
本稿では,クラスタリングとLLM要約とイベント検出と,時間曲線を用いた多次元スケーリングを組み合わせることで,ソフトウェアシステムログの膨大なコレクションの効率的な自動要約を実現する。
我々のアプローチの核は、事象間の類似性を効果的に測定し、意味のある表現を可能にする半距離の提案である。
本手法は,事前の知識がなくても,異なるアプリケーションから収集したログの主イベントを説明できることを示す。
また,複数のプロジェクションを重畳することで,並列および分散システムにおける一般的なトレンドやアウトレーヤを検出する方法も示す。
その結果、システム全体の問題の分析と解決、パフォーマンスボトルネックとセキュリティリスクの特定、アプリケーションのデバッグなどに必要な時間の大幅な削減が期待できます。
関連論文リスト
- FastGAS: Fast Graph-based Annotation Selection for In-Context Learning [53.17606395275021]
インコンテキスト学習(ICL)は、大規模言語モデル(LLM)に対して、一連のトレーニングインスタンスをプロンプトとして使用することにより、新しいタスクに対処する権限を与える。
既存の手法では、アノテーションのラベルなし例のサブセットを選択する方法が提案されている。
本稿では,高品質なインスタンスを効率的に識別するグラフベースの選択手法であるFastGASを提案する。
論文 参考訳（メタデータ） (2024-06-06T04:05:54Z) - Lemur: Log Parsing with Entropy Sampling and Chain-of-Thought Merging [33.522495018321386]
textbfEntropy サンプリングと Chain-of-Thought textbfMerging (Lemur) を用いた最先端 textbfLog 解析フレームワークを提案する。
本稿では,典型的なログを効率的にクラスタリングする情報エントロピーにインスパイアされた新しいサンプリング手法を提案する。
Lemurは最先端のパフォーマンスと素晴らしい効率を実現している。
論文 参考訳（メタデータ） (2024-02-28T09:51:55Z) - Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。
ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。
また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
論文 参考訳（メタデータ） (2024-02-04T05:50:38Z) - MLAD: A Unified Model for Multi-system Log Anomaly Detection [35.68387377240593]
複数のシステムにまたがる意味的関係推論を組み込んだ新しい異常検出モデルMLADを提案する。
具体的には、Sentence-bertを用いてログシーケンス間の類似性を捉え、それらを高次元の学習可能な意味ベクトルに変換する。
我々は,各キーワードのシーケンスにおける意義を識別し,マルチシステムデータセットの全体分布をモデル化するために,アテンション層の公式を改訂する。
論文 参考訳（メタデータ） (2024-01-15T12:51:13Z) - Multi-Scene Generalized Trajectory Global Graph Solver with Composite
Nodes for Multiple Object Tracking [61.69892497726235]
複合ノードメッセージパッシングネットワーク(CoNo-Link)は、超長いフレーム情報を関連付けるためのフレームワークである。
オブジェクトをノードとして扱う従来の方法に加えて、このネットワークは情報インタラクションのためのノードとしてオブジェクトトラジェクトリを革新的に扱う。
我々のモデルは、合成ノードを追加することで、より長い時間スケールでより良い予測を学習することができる。
論文 参考訳（メタデータ） (2023-12-14T14:00:30Z) - Robust Detection of Lead-Lag Relationships in Lagged Multi-Factor Models [61.10851158749843]
データ固有のリード-ラグ関係を発見することで、重要な洞察を得ることができる。
階層化多要素モデルにおけるリードラグ関係のロバスト検出のためのクラスタリング駆動手法を開発した。
論文 参考訳（メタデータ） (2023-05-11T10:30:35Z) - ClusterLog: Clustering Logs for Effective Log-based Anomaly Detection [3.3196401064045014]
本研究では,ログキーの時間列を意味的類似性に基づいてクラスタリングするログ前処理手法であるClusterLogを提案する。
セマンティックおよび感傷的に類似したログをグループ化することにより、ダウンストリームシーケンスベースのモデルでログパターンを効果的に学習する能力を改善することを目的として、単一のログキーでログシーケンスを表現することを目的としている。
論文 参考訳（メタデータ） (2023-01-19T01:54:48Z) - Task-aware Similarity Learning for Event-triggered Time Series [25.101509208153804]
本研究の目的は,未ラベルのイベントトリガー時系列間のタスク認識類似性を学習可能な教師なし学習フレームワークを開発することである。
提案するフレームワークは,さまざまなイベントトリガー時系列の類似性をモデル化し,学習するための体系的なアプローチを実現するための,ステップストーンの提供を目指している。
論文 参考訳（メタデータ） (2022-07-17T12:54:10Z) - Inferring Unobserved Events in Systems With Shared Resources and Queues [0.8602553195689513]
実生活システムは、しばしば起こる全ての出来事のサブセットのみを記録する。
共有リソースを持つプロセスの動作を理解し,分析するために,発生したに違いないが記録されていないイベントのタイムスタンプの境界を再構築することを目的としている。
我々は、非観測イベントのタイムスタンプを効率的に導き出すために、エンティティトレース上の線形プログラミングを使用する。
論文 参考訳（メタデータ） (2021-02-27T09:34:01Z) - Learned Factor Graphs for Inference from Stationary Time Sequences [107.63351413549992]
定常時間列のためのモデルベースアルゴリズムとデータ駆動型MLツールを組み合わせたフレームワークを提案する。
ニューラルネットワークは、時系列の分布を記述する因子グラフの特定のコンポーネントを別々に学習するために開発された。
本稿では,学習された定常因子グラフに基づく推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-05T07:06:19Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳（メタデータ） (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。