論文の概要: Explaining Anomalies using Denoising Autoencoders for Financial Tabular
Data
- arxiv url: http://arxiv.org/abs/2209.10658v1
- Date: Wed, 21 Sep 2022 21:02:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 14:37:35.730407
- Title: Explaining Anomalies using Denoising Autoencoders for Financial Tabular
Data
- Title(参考訳): 財務表データに対するデノージングオートエンコーダを用いた異常説明
- Authors: Timur Sattarov, Dayananda Herurkar, J\"orn Hees
- Abstract要約: 本稿では,混合型表型データ用に設計された自動エンコーダを用いて,異常を記述するためのフレームワークを提案する。
これは、個々のサンプル列を潜在的なエラーでローカライズし、対応する信頼スコアを割り当てることによって達成される。
本フレームワークは,データ品質管理プロセスの改善とともに,異常の異常な特徴をドメインの専門家が理解できるように設計されている。
- 参考スコア(独自算出の注目度): 5.071227866936205
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in Explainable AI (XAI) increased the demand for deployment
of safe and interpretable AI models in various industry sectors. Despite the
latest success of deep neural networks in a variety of domains, understanding
the decision-making process of such complex models still remains a challenging
task for domain experts. Especially in the financial domain, merely pointing to
an anomaly composed of often hundreds of mixed type columns, has limited value
for experts.
Hence, in this paper, we propose a framework for explaining anomalies using
denoising autoencoders designed for mixed type tabular data. We specifically
focus our technique on anomalies that are erroneous observations. This is
achieved by localizing individual sample columns (cells) with potential errors
and assigning corresponding confidence scores. In addition, the model provides
the expected cell value estimates to fix the errors.
We evaluate our approach based on three standard public tabular datasets
(Credit Default, Adult, IEEE Fraud) and one proprietary dataset (Holdings). We
find that denoising autoencoders applied to this task already outperform other
approaches in the cell error detection rates as well as in the expected value
rates. Additionally, we analyze how a specialized loss designed for cell error
detection can further improve these metrics. Our framework is designed for a
domain expert to understand abnormal characteristics of an anomaly, as well as
to improve in-house data quality management processes.
- Abstract(参考訳): 説明可能なAI(XAI)の最近の進歩は、安全で解釈可能なAIモデルをさまざまな業界に展開する必要性を高めた。
さまざまな領域におけるディープニューラルネットワークの最近の成功にもかかわらず、このような複雑なモデルの意思決定プロセスを理解することは、依然としてドメインエキスパートにとって困難な課題である。
特に金融分野では、しばしば数百の混合型列からなる異常を示すだけであり、専門家には限られた価値がある。
そこで本稿では,混合型表データ用に設計された自動エンコーダを用いた異常記述フレームワークを提案する。
我々はこの手法を、誤った観測である異常に特に焦点を当てている。
これは、潜在的なエラーを伴う個々のサンプル列(セル)をローカライズし、対応する信頼度スコアを割り当てることで実現される。
さらに、モデルはエラーを修正するために期待されるセル値の推定を提供する。
提案手法は,3つの標準グラフデータセット(Credit Default, adult, IEEE Fraud)と1つのプロプライエタリデータセット(Holdings)に基づいて評価する。
我々は、このタスクに適用されるノイズ除去オートエンコーダが、セルエラー検出率と期待値率の他のアプローチよりも優れていることを見出した。
さらに,セルエラー検出のための特別な損失が,これらの指標をさらに改善する方法について分析する。
本フレームワークは,データ品質管理プロセスの改善とともに,異常の異常な特徴をドメインの専門家が理解できるように設計されている。
関連論文リスト
- Weakly Supervised Anomaly Detection via Knowledge-Data Alignment [24.125871437370357]
マルウェア検出、マネーロンダリング、デバイス障害検出、ネットワーク障害解析など、多数のWebベースのアプリケーションにおいて、異常検出が重要な役割を果たす。
Weakly Supervised Anomaly Detection (WSAD) が導入された。
本稿では,ルール知識を統合するための知識データアライメント(KDAlign)について紹介する。
論文 参考訳(メタデータ) (2024-02-06T07:57:13Z) - Progressing from Anomaly Detection to Automated Log Labeling and
Pioneering Root Cause Analysis [53.24804865821692]
本研究では、ログ異常の分類を導入し、ラベル付けの課題を軽減するために、自動ラベリングについて検討する。
この研究は、根本原因分析が異常検出に続く未来を予見し、異常の根本原因を解明する。
論文 参考訳(メタデータ) (2023-12-22T15:04:20Z) - Unraveling the "Anomaly" in Time Series Anomaly Detection: A
Self-supervised Tri-domain Solution [89.16750999704969]
異常ラベルは時系列異常検出において従来の教師付きモデルを妨げる。
自己教師型学習のような様々なSOTA深層学習技術がこの問題に対処するために導入されている。
自己教師型3領域異常検出器(TriAD)を提案する。
論文 参考訳(メタデータ) (2023-11-19T05:37:18Z) - Anomaly Detection with Score Distribution Discrimination [4.468952886990851]
本稿では,スコア分布の観点から,異常スコア関数の最適化を提案する。
正常試料と異常試料のスコア分布の重なりを最小化するオーバーラップ損失と呼ばれる新しい損失関数を設計する。
論文 参考訳(メタデータ) (2023-06-26T03:32:57Z) - WePaMaDM-Outlier Detection: Weighted Outlier Detection using Pattern
Approaches for Mass Data Mining [0.6754597324022876]
外乱検出は、システム障害、不正行為、およびデータ内のパターンに関する重要な情報を明らかにすることができる。
本稿では、異なる質量データマイニング領域を持つWePaMaDM-Outlier Detectionを提案する。
また, 監視, 故障検出, 傾向解析において, 異常検出技術におけるデータモデリングの重要性についても検討した。
論文 参考訳(メタデータ) (2023-06-09T07:00:00Z) - Leveraging variational autoencoders for multiple data imputation [0.5156484100374059]
本稿では,複数の計算手法を用いて,データ欠落を考慮に入れた深部モデル,すなわち変分オートエンコーダ(VAE)について検討する。
VAEは、過小評価と過信な計算によって、欠落したデータの経験的カバレッジを低くすることがわかった。
これを克服するために、一般化されたベイズフレームワークから見た$beta$-VAEsを用いて、モデルの誤特定に対して堅牢性を提供する。
論文 参考訳(メタデータ) (2022-09-30T08:58:43Z) - An Outlier Exposure Approach to Improve Visual Anomaly Detection
Performance for Mobile Robots [76.36017224414523]
移動ロボットの視覚異常検出システム構築の問題点を考察する。
標準異常検出モデルは、非異常データのみからなる大規模なデータセットを用いて訓練される。
本研究では,これらのデータを利用してリアルNVP異常検出モデルの性能向上を図る。
論文 参考訳(メタデータ) (2022-09-20T15:18:13Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [55.52743265122446]
ディープオートエンコーダは視覚領域における異常検出のタスクに使われてきた。
我々は、訓練中に識別情報を使用することが可能な自己指導型学習体制を適用することで、この問題に対処する。
MVTec ADデータセットを用いた実験では,高い検出性能と局所化性能を示した。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - Including Sparse Production Knowledge into Variational Autoencoders to
Increase Anomaly Detection Reliability [3.867363075280544]
可変オートエンコーダニューラルネットワーク構造におけるラベル異常に関するまれな情報を用いて検討する。
この方法は、精度、正確さ、リコールの点で他の全てのモデルを上回る。
論文 参考訳(メタデータ) (2021-03-24T05:54:12Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳(メタデータ) (2020-12-03T10:17:30Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。