論文の概要: AIOps-Driven Enhancement of Log Anomaly Detection in Unsupervised
Scenarios
- arxiv url: http://arxiv.org/abs/2311.02621v1
- Date: Sun, 5 Nov 2023 11:16:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 16:40:14.959226
- Title: AIOps-Driven Enhancement of Log Anomaly Detection in Unsupervised
Scenarios
- Title(参考訳): 教師なしシナリオにおけるAIOpsによるログ異常検出の強化
- Authors: Daksh Dave, Gauransh Sawhney, Dhruv Khut, Sahil Nawale, Pushkar
Aggrawal, Prasenjit Bhavathankar
- Abstract要約: 本研究では、教師なし戦略を取り入れた革新的なアルゴリズムにより、新しいハイブリッドフレームワークを導入する。
提案手法はシミュレーションと実世界の両方のデータセットの利用を包含する。
実験結果は有望であり, 偽陽性例の有意な減少を示した。
- 参考スコア(独自算出の注目度): 0.18641315013048293
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Artificial intelligence operations (AIOps) play a pivotal role in
identifying, mitigating, and analyzing anomalous system behaviors and alerts.
However, the research landscape in this field remains limited, leaving
significant gaps unexplored. This study introduces a novel hybrid framework
through an innovative algorithm that incorporates an unsupervised strategy.
This strategy integrates Principal Component Analysis (PCA) and Artificial
Neural Networks (ANNs) and uses a custom loss function to substantially enhance
the effectiveness of log anomaly detection. The proposed approach encompasses
the utilization of both simulated and real-world datasets, including logs from
SockShop and Hadoop Distributed File System (HDFS). The experimental results
are highly promising, demonstrating significant reductions in pseudo-positives.
Moreover, this strategy offers notable advantages, such as the ability to
process logs in their raw, unprocessed form, and the potential for further
enhancements. The successful implementation of this approach showcases a
remarkable reduction in anomalous logs, thus unequivocally establishing the
efficacy of the proposed methodology. Ultimately, this study makes a
substantial contribution to the advancement of log anomaly detection within
AIOps platforms, addressing the critical need for effective and efficient log
analysis in modern and complex systems.
- Abstract(参考訳): 人工知能操作(AIOps)は、異常なシステム行動や警告を特定し、緩和し、分析する上で重要な役割を果たす。
しかし、この分野の研究環境は限定的であり、大きなギャップは未調査のままである。
本研究では,教師なし戦略を組み込んだ革新的なアルゴリズムによる新しいハイブリッドフレームワークを提案する。
この戦略は主成分分析(pca)と人工ニューラルネットワーク(anns)を統合し、カスタム損失関数を使用してログ異常検出の有効性を大幅に向上させる。
提案したアプローチは、SockShopとHadoop Distributed File System(HDFS)のログを含む、シミュレーションと実世界の両方のデータセットの利用を含んでいる。
実験結果は有望であり, 偽陽性例は有意に減少した。
さらに、この戦略には、生の未処理形式でログを処理する機能や、さらなる拡張の可能性など、注目すべきメリットがある。
このアプローチの実装が成功したことにより,異常なログが著しく減少し,提案手法の有効性が明らかとなった。
最終的に、この研究はAIOpsプラットフォーム内でのログ異常検出の進歩に大きく貢献し、現代および複雑なシステムにおける効率的かつ効率的なログ分析のクリティカルなニーズに対処する。
関連論文リスト
- OMLog: Online Log Anomaly Detection for Evolving System with Meta-learning [10.181157278476428]
OMLogはリアルタイムかつ信頼性の高いオンラインログ異常検出モデルである。
本稿では,平均誤差に基づく分布シフト検出手法を提案する。
また、ログシーケンスの繰り返しパターンを効果的に学習できるメタラーニングに基づくオンライン学習機構を設計する。
論文 参考訳(メタデータ) (2024-10-22T01:50:07Z) - Geospatial Trajectory Generation via Efficient Abduction: Deployment for Independent Testing [1.8877926393541125]
情報(A*)探索により,移動軌跡を効率的に吸収できることが示される。
私たちはまた、正確な結果を提供するだけでなく、非常に大きなシナリオにもスケールできることを示す独自の実験について報告します。
論文 参考訳(メタデータ) (2024-07-08T23:11:47Z) - Deep Learning-based Anomaly Detection and Log Analysis for Computer Networks [5.809158072574843]
本稿では,孤立林,GAN,トランスフォーマーを統合した新しい融合モデルを提案する。
このモデルは誤報率を低減しつつ、異常検出の精度を大幅に向上させる。
また、ログ解析タスクでもうまく機能し、異常な振る舞いを素早く識別することができる。
論文 参考訳(メタデータ) (2024-07-08T06:07:51Z) - Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。
ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。
また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
論文 参考訳(メタデータ) (2024-02-04T05:50:38Z) - Progressing from Anomaly Detection to Automated Log Labeling and
Pioneering Root Cause Analysis [53.24804865821692]
本研究では、ログ異常の分類を導入し、ラベル付けの課題を軽減するために、自動ラベリングについて検討する。
この研究は、根本原因分析が異常検出に続く未来を予見し、異常の根本原因を解明する。
論文 参考訳(メタデータ) (2023-12-22T15:04:20Z) - GraphCloak: Safeguarding Task-specific Knowledge within Graph-structured Data from Unauthorized Exploitation [61.80017550099027]
グラフニューラルネットワーク(GNN)は、さまざまな分野でますます普及している。
個人データの不正利用に関する懸念が高まっている。
近年の研究では、このような誤用から画像データを保護する効果的な方法として、知覚不能な毒殺攻撃が報告されている。
本稿では,グラフデータの不正使用に対する保護のためにGraphCloakを導入する。
論文 参考訳(メタデータ) (2023-10-11T00:50:55Z) - Combating Advanced Persistent Threats: Challenges and Solutions [20.81151411772311]
先進的な永続的脅威(APT)の台頭は、サイバーセキュリティの重大な課題となっている。
Provenance graphベースのカーネルレベルの監査は、可視性とトレーサビリティを高めるための有望なアプローチとして登場した。
本稿では, ネットワークレベルの分散監査モデルを用いて, 費用対効果の高い攻撃再建を行うことを含む, プロファイナンスグラフを利用した効率的かつ堅牢なAPT防御手法を提案する。
論文 参考訳(メタデータ) (2023-09-18T05:46:11Z) - REX: Rapid Exploration and eXploitation for AI Agents [103.68453326880456]
本稿では、REXと呼ばれるAIエージェントのための高速探索およびeXploitationのための改良されたアプローチを提案する。
REXは追加の報酬層を導入し、アッパー信頼境界(UCB)スコアに似た概念を統合し、より堅牢で効率的なAIエージェントのパフォーマンスをもたらす。
論文 参考訳(メタデータ) (2023-07-18T04:26:33Z) - Efficient selective attention LSTM for well log curve synthesis [0.0]
本稿では,既存のデータを用いて不足データの予測を行う機械学習手法を提案する。
提案手法は,従来のLong Short-Term Memory(LSTM)ニューラルネットワークに自己注意機構を組み込むことで構築する。
実験により,提案手法は従来の曲線合成法と比較して精度が高いことを示した。
論文 参考訳(メタデータ) (2023-07-17T09:35:18Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。