論文の概要: Adaptive and Efficient Log Parsing as a Cloud Service

• arxiv url: http://arxiv.org/abs/2504.09113v1
• Date: Sat, 12 Apr 2025 07:53:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:54:18.474432
• Title: Adaptive and Efficient Log Parsing as a Cloud Service
• Title（参考訳）: クラウドサービスとしての適応的で効率的なログ解析
• Authors: Zeyan Li, Jie Song, Tieying Zhang, Tao Yang, Xiongjun Ou, Yingjie Ye, Pengfei Duan, Muchen Lin, Jianjun Chen,
• Abstract要約: ByteBrain-Logは、クラウド環境向けに設計された革新的なログ解析フレームワークである。 平均で229,000ログを処理し、最速のベースラインで840%のスピードアップを達成した。
• 参考スコア（独自算出の注目度）: 11.096357194371421
• License:
• Abstract: Logs are a critical data source for cloud systems, enabling advanced features like monitoring, alerting, and root cause analysis. However, the massive scale and diverse formats of unstructured logs pose challenges for adaptable, efficient, and accurate parsing methods. This paper introduces ByteBrain-LogParser, an innovative log parsing framework designed specifically for cloud environments. ByteBrain-LogParser employs a hierarchical clustering algorithm to allow real-time precision adjustments, coupled with optimizations such as positional similarity distance, deduplication, and hash encoding to enhance performance. Experiments on large-scale datasets show that it processes 229,000 logs per second on average, achieving an 840% speedup over the fastest baseline while maintaining accuracy comparable to state-of-the-art methods. Real-world evaluations further validate its efficiency and adaptability, demonstrating its potential as a robust cloud-based log parsing solution.
• Abstract（参考訳）: ログはクラウドシステムにとって重要なデータソースであり、監視やアラート、根本原因分析といった高度な機能を可能にする。 しかし、大規模で多様な非構造化ログフォーマットは、適応性、効率的、正確な解析方法に挑戦する。 本稿では,クラウド環境向けに設計された革新的なログ解析フレームワークByteBrain-LogParserを紹介する。 ByteBrain-LogParserは、リアルタイムの精度調整を可能にする階層的クラスタリングアルゴリズムと、位置類似性距離、重複度、ハッシュエンコーディングなどの最適化を組み合わせてパフォーマンスを向上させる。 大規模なデータセットの実験では、平均で229,000ログを毎秒処理し、最速のベースラインに対して840%のスピードアップを実現し、最先端の手法に匹敵する精度を維持している。 実世界の評価は、その効率性と適応性をさらに検証し、堅牢なクラウドベースのログ解析ソリューションとしての可能性を示している。

関連論文リスト

• Inferring Neural Signed Distance Functions by Overfitting on Single Noisy Point Clouds through Finetuning Data-Driven based Priors [53.6277160912059]
  本稿では,データ駆動型およびオーバーフィット型手法のプロースを推進し,より一般化し,高速な推論を行い,より高精度なニューラルネットワークSDFを学習する手法を提案する。 そこで本研究では,距離管理やクリーンポイントクラウド,あるいは点正規化を伴わずに,データ駆動型プリエントを微調整できる新しい統計的推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-25T16:48:44Z)
• LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
  LLM機能と統合された新しいログであるLog-LLMを紹介する。 粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。 提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
  論文  参考訳（メタデータ） (2024-08-25T05:34:24Z)
• HELP: Hierarchical Embeddings-based Log Parsing [0.25112747242081457]
  ログは、ソフトウェアのメンテナンスと障害診断のための、第一級の情報ソースである。 ログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ解析タスクの前提条件である。 既存のオンライン解析アルゴリズムは、ログドリフトの影響を受けやすい。
  論文  参考訳（メタデータ） (2024-08-15T17:54:31Z)
• Token Interdependency Parsing (Tipping) -- Fast and Accurate Log Parsing [0.09208007322096533]
  ほとんどの自動分析ツールには、ログテンプレートをパラメータから分離するように設計されたコンポーネントが含まれている。 タイピング"は、ルールベースのトークンライザ、相互依存トークングラフ、強く接続されたコンポーネント、そして、迅速でスケーラブルで正確なログ解析を保証するための様々な技術を組み合わせています。 ラップトップマシン上では、20秒以内で1100万行のログを解析できる。
  論文  参考訳（メタデータ） (2024-08-01T15:37:22Z)
• LUNAR: Unsupervised LLM-based Log Parsing [34.344687402936835]
  LUNARは,効率的かつ市販のログ解析のための教師なし手法である。 我々の重要な洞察は、LSMは直接ログ解析に苦労するかもしれないが、それらの性能は比較分析によって大幅に向上できるということである。 大規模な公開データセットの実験は、LUNARが精度と効率の点で最先端のログクラフトを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-11T11:32:01Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• FuzzyFlow: Leveraging Dataflow To Find and Squash Program Optimization Bugs [92.47146416628965]
  FuzzyFlowはプログラム最適化をテストするために設計されたフォールトローカライゼーションとテストケース抽出フレームワークである。 我々は、データフロープログラム表現を活用して、完全に再現可能なシステム状態と最適化のエリア・オブ・エフェクトをキャプチャする。 テスト時間を削減するため,テスト入力を最小限に抑えるアルゴリズムを設計し,再計算のためのメモリ交換を行う。
  論文  参考訳（メタデータ） (2023-06-28T13:00:17Z)
• Log-based Anomaly Detection based on EVT Theory with feedback [31.949892354842525]
  本研究では,SeaLogと呼ばれる高精度で軽量かつ適応的なログベースの異常検出フレームワークを提案する。 本稿では,リアルタイムな異常検出を行うために,軽量で動的に成長するトリエ構造を用いたTrie-based Detection Agent (TDA)を提案する。 ログデータの進化に対応してTDAの精度を高めるため,専門家からフィードバックを得られるようにした。
  論文  参考訳（メタデータ） (2023-06-08T08:34:58Z)
• Real-Time Scene Text Detection with Differentiable Binarization and Adaptive Scale Fusion [62.269219152425556]
  セグメンテーションに基づくシーンテキスト検出手法はシーンテキスト検出分野において大きな注目を集めている。 本稿では,二項化処理をセグメンテーションネットワークに統合する分散二項化(DB)モジュールを提案する。 アダプティブ・スケール・フュージョン (ASF) モジュールは, 異なるスケールの特徴を適応的に融合させることにより, スケールのロバスト性を向上させる。
  論文  参考訳（メタデータ） (2022-02-21T15:30:14Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。