Fugu-MT 論文翻訳(概要): Learning Representations on Logs for AIOps

論文の概要: Learning Representations on Logs for AIOps

arxiv url: http://arxiv.org/abs/2308.11526v1
Date: Fri, 18 Aug 2023 20:34:46 GMT
ステータス: 処理完了
システム内更新日: 2023-08-23 17:30:51.437830
Title: Learning Representations on Logs for AIOps
Title（参考訳）: AIOpsのためのログ表現の学習
Authors: Pranjal Gupta and Harshit Kumar and Debanjana Kar and Karan Bhukar and Pooja Aggarwal and Prateeti Mohapatra
Abstract要約: 大規模言語モデル(LLM)は、膨大な量のラベルのないデータに基づいて自己監督を用いて訓練される。本稿では,パブリックおよびプロプライエタリなログデータに基づいてトレーニングされたログデータのためのLLMを提案する。提案するLLMは,公開およびプロプライエタリなログデータに基づいてトレーニングされ,複数のダウンストリームタスクにおいて優れたパフォーマンスを提供する。
参考スコア（独自算出の注目度）: 6.47086647390439
License: http://creativecommons.org/licenses/by/4.0/
Abstract: AI for IT Operations (AIOps) is a powerful platform that Site Reliability Engineers (SREs) use to automate and streamline operational workflows with minimal human intervention. Automated log analysis is a critical task in AIOps as it provides key insights for SREs to identify and address ongoing faults. Tasks such as log format detection, log classification, and log parsing are key components of automated log analysis. Most of these tasks require supervised learning; however, there are multiple challenges due to limited labelled log data and the diverse nature of log data. Large Language Models (LLMs) such as BERT and GPT3 are trained using self-supervision on a vast amount of unlabeled data. These models provide generalized representations that can be effectively used for various downstream tasks with limited labelled data. Motivated by the success of LLMs in specific domains like science and biology, this paper introduces a LLM for log data which is trained on public and proprietary log data. The results of our experiments demonstrate that the proposed LLM outperforms existing models on multiple downstream tasks. In summary, AIOps powered by LLMs offers an efficient and effective solution for automating log analysis tasks and enabling SREs to focus on higher-level tasks. Our proposed LLM, trained on public and proprietary log data, offers superior performance on multiple downstream tasks, making it a valuable addition to the AIOps platform.
Abstract（参考訳）: AI for IT Operations(AIOps)は、Site Reliability Engineers(SRE)が、人間の介入を最小限にして運用ワークフローの自動化と合理化に使用している、強力なプラットフォームである。自動ログ分析は、SREが進行中の障害を特定し、対処するための重要な洞察を提供するため、AIOpsでは重要なタスクである。ログフォーマット検出、ログ分類、ログ解析といったタスクは、自動ログ分析の重要なコンポーネントである。これらのタスクの多くは教師付き学習を必要とするが、ラベル付きログデータとログデータの多様な性質のために、複数の課題がある。 BERTやGPT3のような大規模言語モデル(LLM)は、膨大な量のラベルのないデータに基づいて自己監督を用いて訓練される。これらのモデルは、ラベル付きデータに制限のある様々な下流タスクに効果的に使用できる一般化された表現を提供する。科学や生物学などの特定の分野におけるLLMの成功に触発された本論文では,公開およびプロプライエタリなログデータに基づいてトレーニングされたログデータのためのLLMを紹介する。実験の結果,提案手法は複数の下流タスクにおいて既存モデルよりも優れていた。要約すると、LLMを搭載したAIOpsは、ログ分析タスクを自動化し、SREがより高いレベルのタスクに集中できるようにする、効率的で効果的なソリューションを提供する。提案するllmはパブリックおよびプロプライエタリなログデータに基づいてトレーニングされ、複数のダウンストリームタスクで優れたパフォーマンスを提供します。

関連論文リスト

LogLM: From Task-based to Instruction-based Automated Log Analysis [22.44842963552044]
既存のアプローチでは、ログ分析を独立したタスクを実行するためのモデルトレーニングとして扱うことが多い。本稿では,対数ラベル対を命令応答対の統一形式に変換する命令ベーストレーニング手法を提案する。トレーニングされたモデルであるLogLMは、複雑なユーザ命令に従って、さまざまなタスクをまたいでより一般化することができます。
論文参考訳（メタデータ） (2024-10-12T03:36:52Z)
Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
論文参考訳（メタデータ） (2024-10-11T03:52:17Z)
LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
LLM機能と統合された新しいログであるLog-LLMを紹介する。粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
論文参考訳（メタデータ） (2024-08-25T05:34:24Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
LogEval: A Comprehensive Benchmark Suite for Large Language Models In Log Analysis [32.46940506638522]
ログ解析タスクにおける大規模言語モデルの性能を評価するために設計されたベンチマークスイートであるLogEvalを紹介する。このベンチマークでは、ログ解析、ログ異常検出、ログ障害診断、ログ要約などのタスクをカバーしている。 LogEvalは4000の公開ログデータエントリを使用して各タスクを評価し、各タスクに対して15の異なるプロンプトを使用して、徹底的で公正な評価を保証する。
論文参考訳（メタデータ） (2024-07-02T02:39:33Z)
LUNAR: Unsupervised LLM-based Log Parsing [34.344687402936835]
LUNARは,効率的かつ市販のログ解析のための教師なし手法である。我々の重要な洞察は、LSMは直接ログ解析に苦労するかもしれないが、それらの性能は比較分析によって大幅に向上できるということである。大規模な公開データセットの実験は、LUNARが精度と効率の点で最先端のログクラフトを著しく上回っていることを示している。
論文参考訳（メタデータ） (2024-06-11T11:32:01Z)
Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文参考訳（メタデータ） (2024-06-02T16:53:21Z)
UniDM: A Unified Framework for Data Manipulation with Large Language Models [66.61466011795798]
大規模言語モデル(LLM)は複数のデータ操作タスクを解決する。 LLMはパフォーマンス面では明るい利点を示すが、それぞれのタスクに合うようにカスタマイズされた設計が必要である。データ操作タスクを処理するための新しいパラダイムを確立する統一フレームワークUniDMを提案する。
論文参考訳（メタデータ） (2024-05-10T14:44:04Z)
On the Effectiveness of Log Representation for Log-based Anomaly Detection [12.980238412281471]
本研究は,従来のログ解析研究から広く採用されているログ表現技術について検討し,比較する。 6つのログ表現手法を選択し、7つのMLモデルと4つの公開ログデータセットで評価する。また、ログ表現技術を採用する際に、ログ解析プロセスと異なる特徴集約アプローチの影響についても検討する。
論文参考訳（メタデータ） (2023-08-17T02:18:59Z)
LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文参考訳（メタデータ） (2021-11-02T15:16:08Z)
Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。既存のアプローチは、ログ特化や手動ルール抽出に依存している。本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。