論文の概要: ECLIPSE: Semantic Entropy-LCS for Cross-Lingual Industrial Log Parsing

• arxiv url: http://arxiv.org/abs/2405.13548v1
• Date: Wed, 22 May 2024 11:33:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 00:24:16.620416
• Title: ECLIPSE: Semantic Entropy-LCS for Cross-Lingual Industrial Log Parsing
• Title（参考訳）: ECLIPSE: 言語間産業ログ解析のための意味エントロピーLCS
• Authors: Wei Zhang, Xianfu Cheng, Yi Zhang, Jian Yang, Hongcheng Guo, Zhoujun Li, Xiaolin Yin, Xiangyuan Guan, Xu Shi, Liangfan Zheng, Bo Zhang,
• Abstract要約: セマンティックエントロピー-LCSを用いたクロスリンガル産業ログ解析のESLIPSEを提案する。 2つの効率的なデータ駆動テンプレートマッチングアルゴリズムとFaissインデクシングを統合している。 多様なデータセットの強いベースラインと比較して、最先端のパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 30.093766305800568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Log parsing, a vital task for interpreting the vast and complex data produced within software architectures faces significant challenges in the transition from academic benchmarks to the industrial domain. Existing log parsers, while highly effective on standardized public datasets, struggle to maintain performance and efficiency when confronted with the sheer scale and diversity of real-world industrial logs. These challenges are two-fold: 1) massive log templates: The performance and efficiency of most existing parsers will be significantly reduced when logs of growing quantities and different lengths; 2) Complex and changeable semantics: Traditional template-matching algorithms cannot accurately match the log templates of complicated industrial logs because they cannot utilize cross-language logs with similar semantics. To address these issues, we propose ECLIPSE, Enhanced Cross-Lingual Industrial log Parsing with Semantic Entropy-LCS, since cross-language logs can robustly parse industrial logs. On the one hand, it integrates two efficient data-driven template-matching algorithms and Faiss indexing. On the other hand, driven by the powerful semantic understanding ability of the Large Language Model (LLM), the semantics of log keywords were accurately extracted, and the retrieval space was effectively reduced. It is worth noting that we launched a Chinese and English cross-platform industrial log parsing benchmark ECLIPSE-Bench to evaluate the performance of mainstream parsers in industrial scenarios. Our experimental results, conducted across public benchmarks and the proprietary ECLIPSE-Bench dataset, underscore the superior performance and robustness of our proposed ECLIPSE. Notably, ECLIPSE delivers state-of-the-art performance when compared to strong baselines on diverse datasets and preserves a significant edge in processing efficiency.
• Abstract（参考訳）: ログ解析(Log parsing)は、ソフトウェアアーキテクチャ内で生成された膨大な複雑なデータを解釈するための重要なタスクであり、学術ベンチマークから産業領域への移行において大きな課題に直面している。 既存のログパーサは、標準化されたパブリックデータセットで非常に効果的だが、実際の産業ログの厳格なスケールと多様性に直面した場合、パフォーマンスと効率を維持するのに苦労している。 これらの課題は2つあります。 1) 巨大なログテンプレート: 多くの既存パーサのパフォーマンスと効率は、増大する量と長さの異なるログで大幅に低下する。 2) 複雑で変更可能なセマンティクス: 従来のテンプレートマッチングアルゴリズムは、類似したセマンティクスを持つクロス言語ログを利用できないため、複雑な産業ログのログテンプレートを正確にマッチングすることはできない。 これらの問題に対処するために,言語間ログが産業ログを頑健に解析できるため,セマンティックエントロピー-LCSによる産業ログ解析の強化であるCLIPSEを提案する。 一方、効率的なデータ駆動型テンプレートマッチングアルゴリズムと、Faissインデクシングを統合している。 一方、Large Language Model(LLM)の強力な意味理解能力によって、ログキーワードの意味を正確に抽出し、検索空間を効果的に削減した。 産業シナリオにおける主流パーサの性能を評価するため,中国とイギリスのクロスプラットフォーム産業ログ解析ベンチマーク ECLIPSE-Bench を立ち上げました。 公開ベンチマークと独自のECLIPSE-Benchデータセットを用いて実施した実験結果から,提案したECLIPSEの優れた性能とロバスト性が確認された。 特に、ECLIPSEは、多様なデータセットの強いベースラインと比較して最先端のパフォーマンスを提供し、処理効率の大きなエッジを保持する。

関連論文リスト

• ULog: Unsupervised Log Parsing with Large Language Models through Log Contrastive Units [34.344687402936835]
  ULogは,効率的かつ既製のログ解析のための教師なしの手法である。 ログのこのようなグループをログコントラスト単位(Log Contrastive Units, LCU)と呼ぶ。 ULogは、LLMがコントラストパターンを特定し、LCUから意味のあるログ構造を抽出するための、新しい解析プロンプトを作成する。
  論文  参考訳（メタデータ） (2024-06-11T11:32:01Z)
• Log Parsing with Self-Generated In-Context Learning and Self-Correction [15.93927602769091]
  さまざまなログ解析手法が提案されているが、人為的なルールや限られたトレーニングデータによる学習ベースモデルに依存しているため、ログデータの進化に対する彼らのパフォーマンスは満足できないままである。 本稿では,自己生成型インコンテキスト学習(SG-ICL)と自己補正を併用したLLMを用いた効果的かつ適応的なログ解析フレームワークであるAdaを提案する。
  論文  参考訳（メタデータ） (2024-06-05T15:31:43Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• TnT-LLM: Text Mining at Scale with Large Language Models [24.731544646232962]
  大規模言語モデル(LLM)は、最小限の努力でエンドツーエンドのラベル生成と割り当てのプロセスを自動化する。 我々は,TnT-LLMが最先端のベースラインと比較した場合,より正確で関連性の高いラベルを生成することを示す。 また、現実のアプリケーションにおける大規模テキストマイニングにLLMを使うことの課題と機会に関する実践的経験と洞察を共有します。
  論文  参考訳（メタデータ） (2024-03-18T18:45:28Z)
• Leveraging Code to Improve In-context Learning for Semantic Parsing [48.66031267718704]
  In-context Learning (ICL) は、その少数ショットの性質と一般化の改善により、意味解析に魅力的なアプローチである。 我々は,(1)DSLの代わりにPythonなどの汎用プログラミング言語を用いた意味解析におけるICLの有効性を向上し,(2)ドメイン記述を構造化したプロンプトを増強する。
  論文  参考訳（メタデータ） (2023-11-16T02:50:06Z)
• LILAC: Log Parsing using LLMs with Adaptive Parsing Cache [38.04960745458878]
  適応型解析キャッシュを備えた大規模言語モデル (LLM) を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。 LLMの特殊なログ解析能力の欠如は、現在解析の正確さを妨げている。 LILACは,テンプレートの精度の平均F1スコアにおいて,最先端の手法よりも69.5%優れていた。
  論文  参考訳（メタデータ） (2023-10-03T04:46:59Z)
• Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
  自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。 本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。 本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
  論文  参考訳（メタデータ） (2023-08-17T14:19:22Z)
• Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
  LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
  論文  参考訳（メタデータ） (2023-04-10T09:55:14Z)
• X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing [51.81533991497547]
  タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。 本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。 本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:40:05Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。