Fugu-MT 論文翻訳(概要): Instruction-Tuned LLMs for Parsing and Mining Unstructured Logs on Leadership HPC Systems

論文の概要: Instruction-Tuned LLMs for Parsing and Mining Unstructured Logs on Leadership HPC Systems

arxiv url: http://arxiv.org/abs/2604.05168v1
Date: Mon, 06 Apr 2026 20:59:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-08 17:42:09.489791
Title: Instruction-Tuned LLMs for Parsing and Mining Unstructured Logs on Leadership HPC Systems
Title（参考訳）: リーダーシップHPCシステムにおける非構造ログのパースとマイニングのための命令調整LDM
Authors: Ahmad Maroof Karimi, Jong Youl Choi, Charles Qing Cao, Awais Khan,
Abstract要約: 大規模言語モデル(LLM)は、リーダーシップクラスHPC環境での自動ログ理解のための、有望な新しい方向性を提供する。本稿では,HPCログを高忠実度で解析・構造化するために,チェーン・オブ・思想(CoT)推論を利用するフレームワークを提案する。 LogHubリポジトリからさまざまなログデータセットの実験を行います。
参考スコア（独自算出の注目度）: 0.7874708385247352
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Leadership-class HPC systems generate massive volumes of heterogeneous, largely unstructured system logs. Because these logs originate from diverse software, hardware, and runtime layers, they exhibit inconsistent formats, making structure extraction and pattern discovery extremely challenging. Therefore, robust log parsing and mining is critical to transform this raw telemetry into actionable insights that reveal operational patterns, diagnose anomalies, and enable reliable, efficient, and scalable system analysis. Recent advances in large language models (LLMs) offer a promising new direction for automated log understanding in leadership-class HPC environments. To capitalize on this opportunity, we present a domain-adapted, instruction-following, LLM-driven framework that leverages chain-of-thought (CoT) reasoning to parse and structure HPC logs with high fidelity. Our approach combines domain-specific log-template data with instruction-tuned examples to fine-tune an 8B-parameter LLaMA model tailored for HPC log analysis. We develop a hybrid fine-tuning methodology that adapts a general-purpose LLM to domain-specific log data, enabling privacy-preserving, locally deployable, fast, and energy-efficient log-mining approach. We conduct experiments on a diverse set of log datasets from the LogHub repository. The evaluation confirms that our approach achieves parsing accuracy on par with significantly larger models, such as LLaMA 70B and Anthropic's Claude. We further validate the practical utility of our fine-tuned LLM model by parsing over 600 million production logs from the Frontier supercomputer over a four-week window, uncovering critical patterns in temporal dynamics, node-level anomalies, and workload-error log correlations.
Abstract（参考訳）: リーダーシップクラスHPCシステムは、多種多様で、ほとんど構造化されていないシステムログを大量に生成する。これらのログは多様なソフトウェア、ハードウェア、ランタイム層に由来するため、一貫性のないフォーマットを示し、構造抽出とパターン発見を極めて困難にしている。したがって、ロバストなログ解析とマイニングは、この生テレメトリを、運用パターンを明らかにし、異常を診断し、信頼性、効率的、スケーラブルなシステム分析を可能にする実行可能な洞察に変換するために重要である。大規模言語モデル(LLM)の最近の進歩は、リーダーシップクラスHPC環境での自動ログ理解に期待できる新しい方向性を提供する。この機会を活かすために、我々は、チェーン・オブ・ソート(CoT)推論を利用して、高い忠実度でHPCログを解析・構造化するドメイン適応型、命令追従型、LLM駆動のフレームワークを提案する。 HPCログ解析に適した8BパラメータLLaMAモデルに,ドメイン固有のログテンプレートデータと命令調整例を組み合わせる。汎用LLMをドメイン固有のログデータに適用し,プライバシ保護,ローカルデプロイ,高速,エネルギー効率のよいログマイニングアプローチを実現するハイブリッド微調整手法を開発した。 LogHubリポジトリからさまざまなログデータセットの実験を行います。評価の結果,LLaMA 70B や Anthropic's Claude などの大規模モデルと同等のパーシング精度が得られた。さらに、Frontierスーパーコンピュータから4週間のウィンドウ上で6億件以上のプロダクションログを解析し、時間的ダイナミクス、ノードレベルの異常、ワークロードエラーログの相関などの重要なパターンを明らかにすることで、微調整LDMモデルの実用性を検証する。

関連論文リスト

Loong: Synthesize Long Chain-of-Thoughts at Scale through Verifiers [103.4410890572479]
スケーラブルな合成データ生成と検証のためのオープンソースのフレームワークであるLoong Projectを紹介します。 LoongBenchは、12のドメインにまたがる8,729の人為的なサンプルを含む、キュレートされたシードデータセットである。 LoongEnvはモジュラー合成データ生成環境であり、新しい質問応答コードのトリプルを生成する複数のプロンプト戦略をサポートする。
論文参考訳（メタデータ） (2025-09-03T06:42:40Z)
System Log Parsing with Large Language Models: A Review [2.2779174914142346]
大規模言語モデル (LLM) はLLMに基づくログ解析の新しい研究分野を導入した。有望な結果にもかかわらず、この比較的新しい研究分野におけるアプローチの構造化された概要は存在しない。この研究は29 LLMベースのログ解析手法を体系的にレビューする。
論文参考訳（メタデータ） (2025-04-07T09:41:04Z)
AUCAD: Automated Construction of Alignment Dataset from Log-Related Issues for Enhancing LLM-based Log Generation [19.410504836739058]
本稿では,LLMを用いた自動ログステートメント生成のための汎用データセットを用いた後学習による性能向上について検討する。 AUCADと呼ばれる新しいアプローチは、ログ関連の問題から情報を抽出したデータセットを自動的に構築する。人的および実験的な評価は、これらのモデルが既存のLCMベースのソリューションを大幅に上回っていることを示している。
論文参考訳（メタデータ） (2024-12-25T08:43:00Z)
Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
論文参考訳（メタデータ） (2024-10-11T03:52:17Z)
LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
LLM機能と統合された新しいログであるLog-LLMを紹介する。粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
論文参考訳（メタデータ） (2024-08-25T05:34:24Z)
HELP: Hierarchical Embeddings-based Log Parsing [0.25112747242081457]
ログは、ソフトウェアのメンテナンスと障害診断のための、第一級の情報ソースである。ログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ解析タスクの前提条件である。既存のオンライン解析アルゴリズムは、ログドリフトの影響を受けやすい。
論文参考訳（メタデータ） (2024-08-15T17:54:31Z)
LUNAR: Unsupervised LLM-based Log Parsing [34.344687402936835]
LUNARは,効率的かつ市販のログ解析のための教師なし手法である。我々の重要な洞察は、LSMは直接ログ解析に苦労するかもしれないが、それらの性能は比較分析によって大幅に向上できるということである。大規模な公開データセットの実験は、LUNARが精度と効率の点で最先端のログクラフトを著しく上回っていることを示している。
論文参考訳（メタデータ） (2024-06-11T11:32:01Z)
LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。そして、そのような知識を共有パラメータを介して対象領域に転送する。
論文参考訳（メタデータ） (2024-01-09T12:55:21Z)
Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
論文参考訳（メタデータ） (2023-08-17T14:19:22Z)
LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文参考訳（メタデータ） (2021-11-02T15:16:08Z)
Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。既存のアプローチは、ログ特化や手動ルール抽出に依存している。本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。