論文の概要: Scalable and Efficient Large-Scale Log Analysis with LLMs: An IT Software Support Case Study

• arxiv url: http://arxiv.org/abs/2511.14803v1
• Date: Mon, 17 Nov 2025 16:50:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.46497
• Title: Scalable and Efficient Large-Scale Log Analysis with LLMs: An IT Software Support Case Study
• Title（参考訳）: LLMを用いたスケーラブルで効率的な大規模ログ分析:ITソフトウェアサポートケーススタディ
• Authors: Pranjal Gupta, Karan Bhukar, Harshit Kumar, Seema Nagar, Prateeti Mohapatra, Debanjana Kar,
• Abstract要約: IT環境は通常、システムの状態を監視し、問題を検出するためのロギングメカニズムを持っています。 生成されたログの膨大な量は、手動による検査を非現実的にします。 本稿では,ログデータ処理や問題診断に大規模言語モデルを活用するログ解析ツールを提案する。
• 参考スコア（独自算出の注目度）: 8.661548431494813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: IT environments typically have logging mechanisms to monitor system health and detect issues. However, the huge volume of generated logs makes manual inspection impractical, highlighting the importance of automated log analysis in IT Software Support. In this paper, we propose a log analytics tool that leverages Large Language Models (LLMs) for log data processing and issue diagnosis, enabling the generation of automated insights and summaries. We further present a novel approach for efficiently running LLMs on CPUs to process massive log volumes in minimal time without compromising output quality. We share the insights and lessons learned from deployment of the tool - in production since March 2024 - scaled across 70 software products, processing over 2000 tickets for issue diagnosis, achieving a time savings of 300+ man hours and an estimated $15,444 per month in manpower costs compared to the traditional log analysis practices.
• Abstract（参考訳）: IT環境は通常、システムの状態を監視し、問題を検出するためのロギングメカニズムを持っています。 しかし、生成されたログの膨大な量は、ITソフトウェアサポートにおける自動ログ分析の重要性を強調しながら、手動による検査を非現実的にします。 本稿では,ログデータ処理や問題診断にLarge Language Models(LLM)を活用するログ解析ツールを提案する。 さらに,CPU上でLLMを効率よく実行し,出力品質を損なうことなく,大規模ログボリュームを最小限の時間で処理する手法を提案する。 ツールのデプロイから学んだ洞察と教訓 – 2024年3月以来の運用 – は70のソフトウェアプロダクトにスケールし、問題診断用のチケット2000枚以上を処理し、従来のログ分析のプラクティスと比較して月15,444ドルという時間節約を実現しました。

関連論文リスト

• LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
  LLM機能と統合された新しいログであるLog-LLMを紹介する。 粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。 提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
  論文  参考訳（メタデータ） (2024-08-25T05:34:24Z)
• A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We? [42.56249610409624]
  実世界のソフトウェアシステムにおけるログデータの特徴をよりよく反映できる,アノテーション付きログデータセットの新たなコレクションであるLoghub-2.0を提供する。 我々は、より厳密で実践的な設定で15の最先端ログを徹底的に再評価し、特に、既存のメトリクスの非バランスなデータ分布に対する感度を緩和する新しい評価基準を導入する。
  論文  参考訳（メタデータ） (2023-08-21T16:24:15Z)
• Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
  自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。 本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。 本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
  論文  参考訳（メタデータ） (2023-08-17T14:19:22Z)
• On the Effectiveness of Log Representation for Log-based Anomaly Detection [12.980238412281471]
  本研究は,従来のログ解析研究から広く採用されているログ表現技術について検討し,比較する。 6つのログ表現手法を選択し、7つのMLモデルと4つの公開ログデータセットで評価する。 また、ログ表現技術を採用する際に、ログ解析プロセスと異なる特徴集約アプローチの影響についても検討する。
  論文  参考訳（メタデータ） (2023-08-17T02:18:59Z)
• Benchmarking Automated Machine Learning Methods for Price Forecasting Applications [58.720142291102135]
  自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。 CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。 本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
  論文  参考訳（メタデータ） (2023-04-28T10:27:38Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。