論文の概要: Quantifying and Reducing Bias in Maximum Likelihood Estimation of Structured Anomalies

• arxiv url: http://arxiv.org/abs/2007.07878v2
• Date: Fri, 11 Jun 2021 16:54:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 05:36:05.296970
• Title: Quantifying and Reducing Bias in Maximum Likelihood Estimation of Structured Anomalies
• Title（参考訳）: 構造異常の最大確率推定におけるバイアスの定量化と低減
• Authors: Uthsav Chitra, Kimberly Ding, Jasper C.H. Lee, Benjamin J. Raphael
• Abstract要約: 異常推定は、機械学習とデータマイニングにおける問題である。 MLE (Maximum Likelihood Estimator) は、いくつかの異常な家族に対する$textitbiased$ estimatorである。 MLEのバイアスは異常な家族の大きさに依存することを示す。
• 参考スコア（独自算出の注目度）: 10.380414189465347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Anomaly estimation, or the problem of finding a subset of a dataset that differs from the rest of the dataset, is a classic problem in machine learning and data mining. In both theoretical work and in applications, the anomaly is assumed to have a specific structure defined by membership in an $\textit{anomaly family}$. For example, in temporal data the anomaly family may be time intervals, while in network data the anomaly family may be connected subgraphs. The most prominent approach for anomaly estimation is to compute the Maximum Likelihood Estimator (MLE) of the anomaly; however, it was recently observed that for normally distributed data, the MLE is a $\textit{biased}$ estimator for some anomaly families. In this work, we demonstrate that in the normal means setting, the bias of the MLE depends on the size of the anomaly family. We prove that if the number of sets in the anomaly family that contain the anomaly is sub-exponential, then the MLE is asymptotically unbiased. We also provide empirical evidence that the converse is true: if the number of such sets is exponential, then the MLE is asymptotically biased. Our analysis unifies a number of earlier results on the bias of the MLE for specific anomaly families. Next, we derive a new anomaly estimator using a mixture model, and we prove that our anomaly estimator is asymptotically unbiased regardless of the size of the anomaly family. We illustrate the advantages of our estimator versus the MLE on disease outbreak and highway traffic data.
• Abstract（参考訳）: 異常推定(英: Anomaly Estimation)は、データセットの他の部分と異なるデータセットのサブセットを見つける問題であり、機械学習とデータマイニングにおいて古典的な問題である。 理論的研究と応用の両方において、異常は$\textit{anomaly family}$のメンバシップによって定義される特定の構造を持つと仮定される。 例えば、時間データでは異常なファミリーは時間間隔であり、ネットワークデータでは異常なファミリーは接続されたサブグラフである。 異常推定の最も顕著なアプローチは、異常の最大度推定器(mle)を計算することであるが、通常分散データの場合、mleはいくつかの異常ファミリーに対して$\textit{biased}$推定器であることが最近観測された。 本研究は,MLEの偏りが異常な家族の大きさに依存することを示す。 異常を含む異常族内の集合の数が準指数であれば、MLEは漸近的に偏りがないことが証明される。 そのような集合の数が指数関数であれば、MLEは漸近的に偏りを持つ。 我々の分析は、特定の異常家族に対するMLEのバイアスに関する多くの先行結果を統一する。 次に, 混合モデルを用いた新しい異常推定器を導出し, 異常推定器が異常家族のサイズに関わらず漸近的に偏りがないことを示す。 我々は、疫病の発生と高速道路交通データに対する推定値とmleの利点を説明する。

関連論文リスト

• Anomaly Heterogeneity Learning for Open-set Supervised Anomaly Detection [26.08881235151695]
  オープンセット型教師付き異常検出(OSAD)は、トレーニング中に見られたいくつかの異常クラスのサンプルを利用して、見えない異常を検出することを目的としている。 異種不均一分布の多様集合をシミュレートする新しいアプローチ,すなわちAHL(Anomaly Heterogeneity Learning)を導入する。 AHL can 1) は, 目に見える異常や見えない異常の検出において, 最先端のOSADモデルを大幅に強化し, 2) 新たな領域の異常を効果的に一般化することを示した。
  論文  参考訳（メタデータ） (2023-10-19T14:47:11Z)
• Are we certain it's anomalous? [57.729669157989235]
  時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。 本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。 HypADは自己指導で入力信号を再構築する。
  論文  参考訳（メタデータ） (2022-11-16T21:31:39Z)
• Causality-Based Multivariate Time Series Anomaly Detection [63.799474860969156]
  我々は、因果的観点から異常検出問題を定式化し、多変量データを生成するための通常の因果的メカニズムに従わない事例として、異常を考察する。 次に、まずデータから因果構造を学習し、次に、あるインスタンスが局所因果機構に対して異常であるかどうかを推定する因果検出手法を提案する。 我々は、実世界のAIOpsアプリケーションに関するケーススタディと同様に、シミュレートされたデータセットとパブリックなデータセットの両方を用いて、私たちのアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-30T06:00:13Z)
• Catching Both Gray and Black Swans: Open-set Supervised Anomaly Detection [90.32910087103744]
  ラベル付き異常な例は、多くの現実世界のアプリケーションでよく見られる。 これらの異常例は、アプリケーション固有の異常について貴重な知識を提供する。 トレーニング中に見られる異常は、可能なあらゆる種類の異常を説明できないことが多い。 本稿では,オープンセット型教師付き異常検出に取り組む。
  論文  参考訳（メタデータ） (2022-03-28T05:21:37Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Understanding the Effect of Bias in Deep Anomaly Detection [15.83398707988473]
  異常検出はラベル付き異常データの不足のため、機械学習においてユニークな課題となる。 最近の研究は、追加のラベル付き異常サンプルによる深部異常検出モデルのトレーニングを増強することで、このような問題を緩和しようとするものである。 本稿では,異常検出に対するバイアス付き異常集合の効果を理解することを目的とする。
  論文  参考訳（メタデータ） (2021-05-16T03:55:02Z)
• Anomaly detection using principles of human perception [0.0]
  簡易かつリアルタイムかつパラメータフリーな教師なし異常検出アルゴリズムを開発した。 考えは、異常は、データの大半によって行われた特定のグループに関して予期しない観察であると仮定することです。
  論文  参考訳（メタデータ） (2021-03-23T05:46:27Z)
• Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data [150.9270911031327]
  本稿では,一部のラベル付き異常事例と大規模ラベルなしデータセットを用いた異常検出の問題点について考察する。 既存の関連手法は、通常、一連の異常にまたがらない限られた異常例にのみ適合するか、ラベルのないデータから教師なしの学習を進めるかのいずれかである。 そこで本研究では,ラベル付きおよびラベルなし両方の異常の検出をエンドツーエンドに最適化する,深層強化学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-15T03:05:39Z)
• Deep Weakly-supervised Anomaly Detection [118.55172352231381]
  ペアワイズ関係予測ネットワーク(PReNet)は、ペアワイズ関係の特徴と異常スコアを学習する。 PReNetは、学習したペアの異常パターンに適合する見知らぬ異常を検出できる。 12の実世界のデータセットに対する実証的な結果から、PReNetは目に見えない異常や異常を検知する9つの競合する手法を著しく上回っている。
  論文  参考訳（メタデータ） (2019-10-30T00:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。