論文の概要: Adapting Large Language Models to Log Analysis with Interpretable Domain Knowledge

• arxiv url: http://arxiv.org/abs/2412.01377v1
• Date: Mon, 02 Dec 2024 11:05:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:51:21.467902
• Title: Adapting Large Language Models to Log Analysis with Interpretable Domain Knowledge
• Title（参考訳）: 解釈可能なドメイン知識を用いた大規模言語モデルによるログ解析
• Authors: Yuhe Ji, Yilun Liu, Feiyu Yao, Minggui He, Shimin Tao, Xiaofeng Zhao, Su Chang, Xinhua Yang, Weibin Meng, Yuming Xie, Boxing Chen, Hao Yang,
• Abstract要約: 大規模言語モデル(LLM)を用いた故障・エラー管理の新しい手法を開発する。 CPT(Continuous pre-training)によって解釈可能なドメイン知識をオープンソース LLM に統合し,自然言語処理能力を維持しながらログタスクのパフォーマンスを向上させる。 このデータセットでトレーニングしたSuperLogは、4つのログ分析タスクで最高のパフォーマンスを達成し、平均12.01%の2番目に良いモデルを上回っています。
• 参考スコア（独自算出の注目度）: 20.657435888207207
• License:
• Abstract: The increasing complexity of computer systems necessitates innovative approaches to fault and error management, going beyond traditional manual log analysis. While existing solutions using large language models (LLMs) show promise, they are limited by a gap between natural and domain-specific languages, which restricts their effectiveness in real-world applications. Our approach addresses these limitations by integrating interpretable domain knowledge into open-source LLMs through continual pre-training (CPT), enhancing performance on log tasks while retaining natural language processing capabilities. We created a comprehensive dataset, NLPLog, with over 250,000 question-answer pairs to facilitate this integration. Our model, SuperLog, trained with this dataset, achieves the best performance across four log analysis tasks, surpassing the second-best model by an average of 12.01%. Our contributions include a novel CPT paradigm that significantly improves model performance, the development of SuperLog with state-of-the-art results, and the release of a large-scale dataset to support further research in this domain.
• Abstract（参考訳）: コンピュータシステムの複雑さの増大は、従来の手動のログ分析を超えて、フォールトとエラー管理に対する革新的なアプローチを必要とする。 大規模言語モデル(LLM)を用いた既存のソリューションは将来性を示すが、それらは自然言語とドメイン固有言語の間のギャップによって制限され、現実世界のアプリケーションにおけるそれらの有効性を制限する。 提案手法は,CPT(Continuous Pre-Training)によって解釈可能なドメイン知識をオープンソースLLMに統合し,自然言語処理能力を維持しながらログタスクのパフォーマンスを向上させることで,これらの制約に対処する。 私たちは、この統合を容易にするために25万以上の質問応答ペアを備えた包括的なデータセット、NLPLogを作成しました。 このデータセットでトレーニングしたSuperLogは、4つのログ分析タスクで最高のパフォーマンスを達成し、平均12.01%の2番目に良いモデルを上回っています。 我々のコントリビューションには、モデルパフォーマンスを大幅に改善する新しいCPTパラダイム、最先端の結果を持つSuperLogの開発、この領域におけるさらなる研究を支援する大規模なデータセットのリリースが含まれている。

関連論文リスト

• TransformLLM: Adapting Large Language Models via LLM-Transformed Reading Comprehension Text [5.523385345486362]
  法的な応用に特化して設計された言語モデルを開発した。 我々の革新的なアプローチは、Large Language Models (LLMs) を用いて、生のトレーニングデータを読解テキストに変換することによって、法的タスクの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-28T19:32:18Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
  LLM機能と統合された新しいログであるLog-LLMを紹介する。 粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。 提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
  論文  参考訳（メタデータ） (2024-08-25T05:34:24Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Enhancing Knowledge Retrieval with In-Context Learning and Semantic Search through Generative AI [3.9773527114058855]
  本稿では,大規模言語モデルの生成能力とベクトルデータベースの高速かつ正確な検索能力を組み合わせた新しい手法を提案する。 開発したGTR(Generative Text Retrieval)は,非構造化データと構造化データの両方に適用可能である。 改良されたモデルであるGenerative Tabular Text Retrieval (GTR-T) は、大規模データベースクエリの効率を実証した。
  論文  参考訳（メタデータ） (2024-06-13T23:08:06Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• AXOLOTL: Fairness through Assisted Self-Debiasing of Large Language Model Outputs [20.772266479533776]
  AXOLOTLはタスクやモデル間で不可知的に動作する新しい後処理フレームワークである。 バイアスを識別し、解像度を提案し、モデルにアウトプットを自己バイアスさせる。 このアプローチは計算コストを最小化し、モデル性能を保存する。
  論文  参考訳（メタデータ） (2024-03-01T00:02:37Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Large Language Models as Data Preprocessors [9.99065004972981]
  大規模言語モデル (LLM) は人工知能において大きな進歩を遂げている。 本研究では、データマイニングおよび分析アプリケーションにおいて重要な段階である、データ前処理におけるその可能性について検討する。 我々は,最先端のプロンプトエンジニアリング技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T23:28:43Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。