論文の概要: Explaining Anomalies using Denoising Autoencoders for Financial Tabular Data

• arxiv url: http://arxiv.org/abs/2209.10658v1
• Date: Wed, 21 Sep 2022 21:02:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 14:37:35.730407
• Title: Explaining Anomalies using Denoising Autoencoders for Financial Tabular Data
• Title（参考訳）: 財務表データに対するデノージングオートエンコーダを用いた異常説明
• Authors: Timur Sattarov, Dayananda Herurkar, J\"orn Hees
• Abstract要約: 本稿では,混合型表型データ用に設計された自動エンコーダを用いて,異常を記述するためのフレームワークを提案する。 これは、個々のサンプル列を潜在的なエラーでローカライズし、対応する信頼スコアを割り当てることによって達成される。 本フレームワークは,データ品質管理プロセスの改善とともに,異常の異常な特徴をドメインの専門家が理解できるように設計されている。
• 参考スコア（独自算出の注目度）: 5.071227866936205
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advances in Explainable AI (XAI) increased the demand for deployment of safe and interpretable AI models in various industry sectors. Despite the latest success of deep neural networks in a variety of domains, understanding the decision-making process of such complex models still remains a challenging task for domain experts. Especially in the financial domain, merely pointing to an anomaly composed of often hundreds of mixed type columns, has limited value for experts. Hence, in this paper, we propose a framework for explaining anomalies using denoising autoencoders designed for mixed type tabular data. We specifically focus our technique on anomalies that are erroneous observations. This is achieved by localizing individual sample columns (cells) with potential errors and assigning corresponding confidence scores. In addition, the model provides the expected cell value estimates to fix the errors. We evaluate our approach based on three standard public tabular datasets (Credit Default, Adult, IEEE Fraud) and one proprietary dataset (Holdings). We find that denoising autoencoders applied to this task already outperform other approaches in the cell error detection rates as well as in the expected value rates. Additionally, we analyze how a specialized loss designed for cell error detection can further improve these metrics. Our framework is designed for a domain expert to understand abnormal characteristics of an anomaly, as well as to improve in-house data quality management processes.
• Abstract（参考訳）: 説明可能なAI(XAI)の最近の進歩は、安全で解釈可能なAIモデルをさまざまな業界に展開する必要性を高めた。 さまざまな領域におけるディープニューラルネットワークの最近の成功にもかかわらず、このような複雑なモデルの意思決定プロセスを理解することは、依然としてドメインエキスパートにとって困難な課題である。 特に金融分野では、しばしば数百の混合型列からなる異常を示すだけであり、専門家には限られた価値がある。 そこで本稿では,混合型表データ用に設計された自動エンコーダを用いた異常記述フレームワークを提案する。 我々はこの手法を、誤った観測である異常に特に焦点を当てている。 これは、潜在的なエラーを伴う個々のサンプル列(セル)をローカライズし、対応する信頼度スコアを割り当てることで実現される。 さらに、モデルはエラーを修正するために期待されるセル値の推定を提供する。 提案手法は,3つの標準グラフデータセット(Credit Default, adult, IEEE Fraud)と1つのプロプライエタリデータセット(Holdings)に基づいて評価する。 我々は、このタスクに適用されるノイズ除去オートエンコーダが、セルエラー検出率と期待値率の他のアプローチよりも優れていることを見出した。 さらに,セルエラー検出のための特別な損失が,これらの指標をさらに改善する方法について分析する。 本フレームワークは,データ品質管理プロセスの改善とともに,異常の異常な特徴をドメインの専門家が理解できるように設計されている。

関連論文リスト

• MeLIAD: Interpretable Few-Shot Anomaly Detection with Metric Learning and Entropy-based Scoring [2.394081903745099]
  本稿では,新たな異常検出手法であるMeLIADを提案する。 MeLIADはメートル法学習に基づいており、真の異常の事前分布仮定に頼ることなく、設計による解釈可能性を達成する。 解釈可能性の定量的かつ定性的な評価を含む5つの公開ベンチマークデータセットの実験は、MeLIADが異常検出とローカライゼーション性能の改善を達成することを実証している。
  論文  参考訳（メタデータ） (2024-09-20T16:01:43Z)
• GeneralAD: Anomaly Detection Across Domains by Attending to Distorted Features [68.14842693208465]
  GeneralADは、意味的、ほぼ分布的、産業的設定で動作するように設計された異常検出フレームワークである。 本稿では,ノイズ付加やシャッフルなどの簡単な操作を施した自己教師付き異常生成モジュールを提案する。 提案手法を10のデータセットに対して広範囲に評価し,6つの実験結果と,残りの6つの実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-17T09:27:41Z)
• Fin-Fed-OD: Federated Outlier Detection on Financial Tabular Data [11.027356898413139]
  実世界のシナリオにおける異常検出は、動的でしばしば未知の異常分布による課題を引き起こす。 本稿では、データの機密性を損なうことなく、個々の組織における異常検出を強化するという課題に対処する。 本稿では,表現学習とフェデレーション学習技術を利用して未知の異常の検出を改善する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:22:04Z)
• Progressing from Anomaly Detection to Automated Log Labeling and Pioneering Root Cause Analysis [53.24804865821692]
  本研究では、ログ異常の分類を導入し、ラベル付けの課題を軽減するために、自動ラベリングについて検討する。 この研究は、根本原因分析が異常検出に続く未来を予見し、異常の根本原因を解明する。
  論文  参考訳（メタデータ） (2023-12-22T15:04:20Z)
• Unraveling the "Anomaly" in Time Series Anomaly Detection: A Self-supervised Tri-domain Solution [89.16750999704969]
  異常ラベルは時系列異常検出において従来の教師付きモデルを妨げる。 自己教師型学習のような様々なSOTA深層学習技術がこの問題に対処するために導入されている。 自己教師型3領域異常検出器(TriAD)を提案する。
  論文  参考訳（メタデータ） (2023-11-19T05:37:18Z)
• Anomaly Detection with Score Distribution Discrimination [4.468952886990851]
  本稿では,スコア分布の観点から,異常スコア関数の最適化を提案する。 正常試料と異常試料のスコア分布の重なりを最小化するオーバーラップ損失と呼ばれる新しい損失関数を設計する。
  論文  参考訳（メタデータ） (2023-06-26T03:32:57Z)
• WePaMaDM-Outlier Detection: Weighted Outlier Detection using Pattern Approaches for Mass Data Mining [0.6754597324022876]
  外乱検出は、システム障害、不正行為、およびデータ内のパターンに関する重要な情報を明らかにすることができる。 本稿では、異なる質量データマイニング領域を持つWePaMaDM-Outlier Detectionを提案する。 また, 監視, 故障検出, 傾向解析において, 異常検出技術におけるデータモデリングの重要性についても検討した。
  論文  参考訳（メタデータ） (2023-06-09T07:00:00Z)
• Leveraging variational autoencoders for multiple data imputation [0.5156484100374059]
  本稿では,複数の計算手法を用いて,データ欠落を考慮に入れた深部モデル,すなわち変分オートエンコーダ(VAE)について検討する。 VAEは、過小評価と過信な計算によって、欠落したデータの経験的カバレッジを低くすることがわかった。 これを克服するために、一般化されたベイズフレームワークから見た$beta$-VAEsを用いて、モデルの誤特定に対して堅牢性を提供する。
  論文  参考訳（メタデータ） (2022-09-30T08:58:43Z)
• An Outlier Exposure Approach to Improve Visual Anomaly Detection Performance for Mobile Robots [76.36017224414523]
  移動ロボットの視覚異常検出システム構築の問題点を考察する。 標準異常検出モデルは、非異常データのみからなる大規模なデータセットを用いて訓練される。 本研究では,これらのデータを利用してリアルNVP異常検出モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2022-09-20T15:18:13Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。