論文の概要: Deep Learning Approach to Anomaly Detection in Enterprise ETL Processes with Autoencoders

• arxiv url: http://arxiv.org/abs/2511.00462v1
• Date: Sat, 01 Nov 2025 09:06:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.789225
• Title: Deep Learning Approach to Anomaly Detection in Enterprise ETL Processes with Autoencoders
• Title（参考訳）: オートエンコーダを用いたエンタープライズETLプロセスにおける異常検出のためのディープラーニングアプローチ
• Authors: Xin Chen, Saili Uday Gadgil, Kangning Gao, Yi Hu, Cong Nie,
• Abstract要約: この研究はまず、遅延、欠落した値、重複ロード、突然の異常な変化など、プロセス内の複数のタイプの異常を分析します。 手法設計では,エンコーダ・デコーダ構造は高次元の入力を潜在表現に圧縮して再構成し,再構成誤差を用いて異常レベルを測定する。 その結果、ディープオートエンコーダに基づく検出機構は、企業レベルのデータストリームにおける遅延分布パターンを効果的にキャプチャできることを示した。
• 参考スコア（独自算出の注目度）: 10.829077063619247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An anomaly detection method based on deep autoencoders is proposed to address anomalies that often occur in enterprise-level ETL data streams. The study first analyzes multiple types of anomalies in ETL processes, including delays, missing values, duplicate loading, and sudden abnormal changes, and applies data standardization and feature modeling to ensure stable and usable inputs. In the method design, the encoder-decoder structure compresses high-dimensional inputs into latent representations and reconstructs them, while reconstruction error is used to measure anomaly levels. Regularization constraints are introduced in the latent space to enhance feature sparsity and distribution learning, thereby improving robustness in complex data streams. Systematic analyses under different hyperparameter settings, environmental changes, and data characteristics show that the proposed method achieves superior performance in AUC, ACC, Precision, and Recall. The results demonstrate that the deep autoencoder-based detection mechanism can effectively capture latent distribution patterns in enterprise-level ETL data streams and accurately identify diverse anomalies, providing reliable support for enterprise data processing and intelligent analysis.
• Abstract（参考訳）: エンタープライズレベルのETLデータストリームで頻繁に発生する異常に対処するために,ディープオートエンコーダに基づく異常検出手法を提案する。 この研究はまず、遅延、欠落した値、重複するロード、突然の異常な変化など、ETLプロセスにおける複数の種類の異常を分析し、安定した入力を確保するためにデータの標準化と特徴モデリングを適用した。 手法設計では,エンコーダ・デコーダ構造は高次元の入力を潜在表現に圧縮して再構成し,再構成誤差を用いて異常レベルを測定する。 遅延空間に正規化制約を導入し、特徴空間と分散学習を強化し、複雑なデータストリームの堅牢性を向上させる。 AUC,ACC,精度,リコールにおいて,異なるパラメータ設定,環境変化,データ特性の体系的解析により,提案手法が優れた性能を発揮することを示す。 その結果、ディープオートエンコーダに基づく検出機構は、エンタープライズレベルのETLデータストリームにおける潜伏分布パターンを効果的に捕捉し、多様な異常を正確に識別し、エンタープライズデータ処理とインテリジェント分析の信頼性を提供することを示した。

関連論文リスト

• Counterfactual Explanation for Auto-Encoder Based Time-Series Anomaly Detection [0.3199881502576702]
  オートエンコーダは意思決定プロセスに固有の不透明さを示し、大規模な実践を妨げている。 本研究では,機能セレクタを用いて特徴を抽出し,モデル出力にコンテキストを与える。 実験結果から,提案手法がモデル決定過程に有意義かつ有意義な洞察を与える可能性が示唆された。
  論文  参考訳（メタデータ） (2025-01-03T19:30:11Z)
• Anomaly detection using Diffusion-based methods [15.049468347670421]
  本稿では,拡散モデルによる異常検出の有用性について検討する。 コンパクトデータセットと高解像度データセットの両方における偏差を識別する効果に重点を置いている。
  論文  参考訳（メタデータ） (2024-12-10T14:17:23Z)
• ADT: Agent-based Dynamic Thresholding for Anomaly Detection [4.356615197661274]
  本稿では,エージェントベースの動的しきい値処理(ADT)フレームワークを提案する。 本研究では,自動エンコーダを用いて特徴表現を取得し,複雑な入力データに対する異常スコアを生成する。 ADTはオートエンコーダの異常スコアを利用して閾値を適応的に調整することができる。
  論文  参考訳（メタデータ） (2023-12-03T19:07:30Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
  識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。 通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。 その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T14:07:55Z)
• Real-World Anomaly Detection by using Digital Twin Systems and Weakly-Supervised Learning [3.0100975935933567]
  本稿では, 産業環境における異常検出に対する弱い制御手法を提案する。 これらのアプローチでは、Digital Twinを使用して、機械の通常の動作をシミュレートするトレーニングデータセットを生成する。 提案手法の性能を,実世界のデータセットに応用した様々な最先端の異常検出アルゴリズムと比較した。
  論文  参考訳（メタデータ） (2020-11-12T10:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。