論文の概要: An Incremental Clustering Method for Anomaly Detection in Flight Data

• arxiv url: http://arxiv.org/abs/2005.09874v4
• Date: Wed, 6 Oct 2021 04:32:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 04:47:18.346705
• Title: An Incremental Clustering Method for Anomaly Detection in Flight Data
• Title（参考訳）: 飛行データにおける異常検出のためのインクリメンタルクラスタリング法
• Authors: Weizun Zhao (1), Lishuai Li (2 and 1), Sameer Alam (3), Yanjun Wang (4) ((1) Department of Systems Engineering and Engineering Management, City University of Hong Kong, (2) Air Transport and Operations, Faculty of Aerospace Engineering, Delft University of Technology, (3) School of Mechanical & Aerospace Engineering, Nanyang Technological University, (4) College of Civil Aviation, Nanjing University of Aeronautics and Astronautics)
• Abstract要約: ガウス混合モデル(GMM)に基づく新しい漸進的異常検出手法を提案する。 これは飛行操作の確率的クラスタリングモデルであり、新しいデータに基づいてクラスタを漸進的に更新することができる。 予備的な結果は、インクリメンタル学習方式が、飛行データ分析における動的に増大するデータを扱うのに有効であることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safety is a top priority for civil aviation. New anomaly detection methods, primarily clustering methods, have been developed to monitor pilot operations and detect any risks from such flight data. However, all existing anomaly detection methods are offlline learning - the models are trained once using historical data and used for all future predictions. In practice, new flight data are accumulated continuously and analyzed every month at airlines. Clustering such dynamically growing data is challenging for an offlline method because it is memory and time intensive to re-train the model every time new data come in. If the model is not re-trained, false alarms or missed detections may increase since the model cannot reflect changes in data patterns. To address this problem, we propose a novel incremental anomaly detection method based on Gaussian Mixture Model (GMM) to identify common patterns and detect outliers in flight operations from digital flight data. It is a probabilistic clustering model of flight operations that can incrementally update its clusters based on new data rather than to re-cluster all data from scratch. It trains an initial GMM model based on historical offlline data. Then, it continuously adapts to new incoming data points via an expectation-maximization (EM) algorithm. To track changes in flight operation patterns, only model parameters need to be saved. The proposed method was tested on three sets of simulation data and two sets of real-world flight data. Compared with the traditional offline GMM method, the proposed method can generate similar clustering results with significantly reduced processing time (57 % - 99 % time reduction in testing sets) and memory usage (91 % - 95 % memory usage reduction in testing sets). Preliminary results indicate that the incremental learning scheme is effective in dealing with dynamically growing data in flight data analytics.
• Abstract（参考訳）: 安全は民間航空にとって最優先事項である。 パイロットの操作を監視し、そのような飛行データからリスクを検出するために、主にクラスタリング手法による新しい異常検出法が開発されている。 しかしながら、既存の異常検出手法はすべてofflline learning – モデルが一度履歴データを使用してトレーニングされ、将来のすべての予測に使用される。 実際には、新しいフライトデータは継続的に蓄積され、毎月航空会社で分析される。 このような動的に成長するデータのクラスタリングはofflline法では、新しいデータが現れる度にモデルを再トレーニングするのはメモリと時間を要するため、難しい。 モデルの再トレーニングがなければ、モデルがデータパターンの変化を反映できないため、誤報やエラー検出が増加する可能性がある。 この問題に対処するために,Gaussian Mixture Model(GMM)に基づく新たな漸進的異常検出手法を提案する。 これは飛行操作の確率的クラスタリングモデルであり、スクラッチからすべてのデータを再クラスタする代わりに、新しいデータに基づいてクラスタを漸進的に更新することができる。 歴史的なoffllineデータに基づいて初期gmmモデルをトレーニングする。 そして、予測最大化(EM)アルゴリズムにより、新しい入ってくるデータポイントに継続的に適応する。 飛行動作パターンの変化を追跡するには、モデルパラメータのみを保存する必要がある。 提案手法はシミュレーションデータ3セットと実世界の飛行データ2セットを用いて実験を行った。 従来のオフラインGMM法と比較して,提案手法は,処理時間(テストセットの57 %～99%)とメモリ使用量(テストセットの91 %～95 %)を大幅に削減した類似のクラスタリング結果を生成することができる。 予備結果は,インクリメンタル・ラーニング・スキームが飛行データ解析において動的に増大するデータを扱うのに有効であることを示している。

関連論文リスト

• Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
  本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。 限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Monte Carlo EM for Deep Time Series Anomaly Detection [6.312089019297173]
  時系列データは、しばしば外れ値や他の種類の異常によって破壊される。 異常検出と予測への最近のアプローチは、トレーニングデータの異常の割合が無視できるほど小さいと仮定している。 本稿では,既存の時系列モデルを拡張して,トレーニングデータの異常を明示的に考慮する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-29T07:52:36Z)
• AirLoop: Lifelong Loop Closure Detection [5.3759730885842725]
  AirLoopは、生涯学習のテクニックを活用して、ループクロージャ検出モデルを漸進的にトレーニングする際の忘れを最小化する手法である。 本研究では,AirLoopがTartanAir,Norland,RobotCarの各データセットに与える影響を実験的に検証した。
  論文  参考訳（メタデータ） (2021-09-18T17:28:47Z)
• DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
  識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。 通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。 その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T14:07:55Z)
• Unsupervised Model Drift Estimation with Batch Normalization Statistics for Dataset Shift Detection and Model Selection [0.0]
  本研究では,未ラベル試験データに基づくバッチ正規化層の統計量を利用したモデルドリフト推定手法を提案する。 本手法は,モデル動物園内に複数の候補モデルが存在する場合のモデル選択だけでなく,教師なしの方法でのトレーニングトラジェクトリにおいても有効であることを示す。
  論文  参考訳（メタデータ） (2021-07-01T03:04:47Z)
• Continual Learning for Fake Audio Detection [62.54860236190694]
  本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。 ASVspoof 2019データセットで実験が行われる。
  論文  参考訳（メタデータ） (2021-04-15T07:57:05Z)
• Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
  この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。 本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。 以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
  論文  参考訳（メタデータ） (2020-07-13T05:27:48Z)
• Categorical anomaly detection in heterogeneous data using minimum description length clustering [3.871148938060281]
  異種データを扱うため,MPLに基づく異常検出モデルの拡張のためのメタアルゴリズムを提案する。 実験の結果, 離散混合モデルを用いることで, 従来の2つの異常検出アルゴリズムと比較して, 競合性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-06-14T14:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。