論文の概要: The Impact of Discretization Method on the Detection of Six Types of Anomalies in Datasets

• arxiv url: http://arxiv.org/abs/2008.12330v1
• Date: Thu, 27 Aug 2020 18:43:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 07:00:00.978512
• Title: The Impact of Discretization Method on the Detection of Six Types of Anomalies in Datasets
• Title（参考訳）: データセットにおける6種類の異常検出における離散化法の影響
• Authors: Ralph Foorthuis
• Abstract要約: 異常検出は、何らかの方法で異常であり、データセットに存在する一般的なパターンに適合しないケース、またはケースのグループを特定するプロセスである。 多数のアルゴリズムは、検出プロセスにおいて数値データの離散化を利用する。 本研究では,最近のデータ異常のタイプで認識されている6種類の異常のそれぞれを教師なし検出する上で,離散化法が与える影響について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Anomaly detection is the process of identifying cases, or groups of cases, that are in some way unusual and do not fit the general patterns present in the dataset. Numerous algorithms use discretization of numerical data in their detection processes. This study investigates the effect of the discretization method on the unsupervised detection of each of the six anomaly types acknowledged in a recent typology of data anomalies. To this end, experiments are conducted with various datasets and SECODA, a general-purpose algorithm for unsupervised non-parametric anomaly detection in datasets with numerical and categorical attributes. This algorithm employs discretization of continuous attributes, exponentially increasing weights and discretization cut points, and a pruning heuristic to detect anomalies with an optimal number of iterations. The results demonstrate that standard SECODA can detect all six types, but that different discretization methods favor the discovery of certain anomaly types. The main findings also hold for other detection techniques using discretization.
• Abstract（参考訳）: 異常検出は、何らかの方法で異常であり、データセットに存在する一般的なパターンに適合しないケース、またはケースのグループを特定するプロセスである。 多くのアルゴリズムは、検出プロセスで数値データの離散化を用いる。 本研究では,最近のデータ異常の類型論で認められた6つの異常タイプについて,教師なし検出に離散化法が与える影響について検討した。 この目的のために、様々なデータセットとSECODAを用いて実験を行い、数値的および分類的属性を持つデータセットにおける教師なし非パラメトリック異常検出のための汎用アルゴリズムである。 このアルゴリズムは、連続属性の離散化、指数関数的に増大する重みと離散化カットポイント、そして最適なイテレーション数で異常を検出するプラニングヒューリスティックを用いる。 その結果、標準のセコダは6つの型をすべて検出できるが、異なる離散化法は特定の異常型の発見を好んでいることが分かった。 主な発見は、離散化を用いた他の検出技術にも当てはまる。

関連論文リスト

• Anomaly Detection by Context Contrasting [57.695202846009714]
  異常検出は、標準から逸脱するサンプルを特定することに焦点を当てる。 近年の自己教師型学習の進歩は、この点において大きな可能性を秘めている。 我々はコンテキスト拡張を通じて学習するCon$を提案する。
  論文  参考訳（メタデータ） (2024-05-29T07:59:06Z)
• Binary Quantification and Dataset Shift: An Experimental Investigation [54.14283123210872]
  量子化は教師付き学習タスクであり、未学習データの集合のクラス有病率の予測器を訓練する。 定量化と他のタイプのデータセットシフトの関係は、いまだ大きく、未調査のままである。 本稿では,これらのシフトに影響を受けるデータセットの生成プロトコルを確立することにより,データセットシフトの種類を詳細に分類する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-06T20:11:27Z)
• WePaMaDM-Outlier Detection: Weighted Outlier Detection using Pattern Approaches for Mass Data Mining [0.6754597324022876]
  外乱検出は、システム障害、不正行為、およびデータ内のパターンに関する重要な情報を明らかにすることができる。 本稿では、異なる質量データマイニング領域を持つWePaMaDM-Outlier Detectionを提案する。 また, 監視, 故障検出, 傾向解析において, 異常検出技術におけるデータモデリングの重要性についても検討した。
  論文  参考訳（メタデータ） (2023-06-09T07:00:00Z)
• AGAD: Adversarial Generative Anomaly Detection [12.68966318231776]
  異常検出は,異常の多様性と大規模異常データ取得の困難さにより異常の欠如に悩まされた。 本稿では,自己コントラストに基づく異常検出パラダイムであるAdversarial Generative Anomaly Detection (AGAD)を提案する。 本手法は,教師付きおよび半教師付き両方の異常検出シナリオに対して擬似異常データを生成する。
  論文  参考訳（メタデータ） (2023-04-09T10:40:02Z)
• Learning to Bound Counterfactual Inference in Structural Causal Models from Observational and Randomised Data [64.96984404868411]
  我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。 新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。 反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
  論文  参考訳（メタデータ） (2022-12-06T12:42:11Z)
• Early Abnormal Detection of Sewage Pipe Network: Bagging of Various Abnormal Detection Algorithms [3.1720050808705804]
  下水道管網の異常は市全体の正常な運営に影響を及ぼす。 本稿では,早期異常検出法を提案する。
  論文  参考訳（メタデータ） (2022-06-06T03:46:47Z)
• MissDAG: Causal Discovery in the Presence of Missing Data with Continuous Additive Noise Models [78.72682320019737]
  不完全な観測データから因果発見を行うため,MissDAGと呼ばれる一般的な手法を開発した。 MissDAGは、期待-最大化の枠組みの下で観測の可視部分の期待される可能性を最大化する。 各種因果探索アルゴリズムを組み込んだMissDAGの柔軟性について,広範囲なシミュレーションと実データ実験により検証した。
  論文  参考訳（メタデータ） (2022-05-27T09:59:46Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Algorithmic Frameworks for the Detection of High Density Anomalies [0.0]
  高密度異常(英: high-density anomalies)は、データ空間の最も正常な領域に位置する不確定なケースである。 本研究では、教師なし検出のための非パラメトリックアルゴリズムフレームワークをいくつか導入する。
  論文  参考訳（メタデータ） (2020-10-09T17:48:02Z)
• Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data [150.9270911031327]
  本稿では,一部のラベル付き異常事例と大規模ラベルなしデータセットを用いた異常検出の問題点について考察する。 既存の関連手法は、通常、一連の異常にまたがらない限られた異常例にのみ適合するか、ラベルのないデータから教師なしの学習を進めるかのいずれかである。 そこで本研究では,ラベル付きおよびラベルなし両方の異常の検出をエンドツーエンドに最適化する,深層強化学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-15T03:05:39Z)
• SECODA: Segmentation- and Combination-Based Detection of Anomalies [0.0]
  SECODAは、連続的および分類的属性を含むデータセットの教師なし非パラメトリック異常検出アルゴリズムである。 このアルゴリズムはメモリのインプリントが低く、実行時のパフォーマンスはデータセットのサイズと線形にスケールする。 シミュレーションおよび実生活データセットによる評価は、このアルゴリズムが様々な種類の異常を識別できることを示している。
  論文  参考訳（メタデータ） (2020-08-16T10:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。