論文の概要: Robust Statistical Scaling of Outlier Scores: Improving the Quality of Outlier Probabilities for Outliers (Extended Version)
- arxiv url: http://arxiv.org/abs/2408.15874v1
- Date: Wed, 28 Aug 2024 15:44:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 15:31:11.284385
- Title: Robust Statistical Scaling of Outlier Scores: Improving the Quality of Outlier Probabilities for Outliers (Extended Version)
- Title(参考訳): 外乱スコアのロバストな統計的スケーリング:外乱確率の改善(拡張版)
- Authors: Philipp Röchner, Henrique O. Marques, Ricardo J. G. B. Campello, Arthur Zimek, Franz Rothlauf,
- Abstract要約: 外乱検出アルゴリズムは通常、データセット内の各観測値に外乱スコアを割り当て、観測値が外乱値である度合いを示す。
本論文は, 統計的スケーリングは, 文献でよく用いられるように, 外れ値に対して等しく良い確率を生じるものではないことを論じる。
本稿では,ロバストな統計的スケーリングを提案し,ロバストな推定器を用いてアウトレーヤの確率を向上する。
- 参考スコア(独自算出の注目度): 2.871927594197754
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Outlier detection algorithms typically assign an outlier score to each observation in a dataset, indicating the degree to which an observation is an outlier. However, these scores are often not comparable across algorithms and can be difficult for humans to interpret. Statistical scaling addresses this problem by transforming outlier scores into outlier probabilities without using ground-truth labels, thereby improving interpretability and comparability across algorithms. However, the quality of this transformation can be different for outliers and inliers. Missing outliers in scenarios where they are of particular interest - such as healthcare, finance, or engineering - can be costly or dangerous. Thus, ensuring good probabilities for outliers is essential. This paper argues that statistical scaling, as commonly used in the literature, does not produce equally good probabilities for outliers as for inliers. Therefore, we propose robust statistical scaling, which uses robust estimators to improve the probabilities for outliers. We evaluate several variants of our method against other outlier score transformations for real-world datasets and outlier detection algorithms, where it can improve the probabilities for outliers.
- Abstract(参考訳): 外乱検出アルゴリズムは通常、データセット内の各観測値に外乱スコアを割り当て、観測値が外乱値である度合いを示す。
しかしながら、これらのスコアはアルゴリズム間で比較されないことが多く、人間が解釈するのは困難である。
統計的スケーリングは、外接点スコアを接地トラスラベルを使わずに外接点確率に変換することでこの問題に対処し、アルゴリズム間の解釈性とコンパビリティを向上させる。
しかし、この変換の質は、外れ値と入値に対して異なる可能性がある。
医療、金融、エンジニアリングなど、特に関心のあるシナリオでは、アウトリーチを欠くのは、コストがかかるか、危険な場合があります。
したがって、外れ値の良好な確率を確保することが不可欠である。
本論文は, 統計的スケーリングは, 文献でよく用いられるように, 外れ値に対して等しく良い確率を生じるものではないことを論じる。
そこで我々は, 頑健な統計的スケーリングを提案し, 頑健な推定器を用いて, 外れ値の確率を向上する。
実世界のデータセットと外乱検出アルゴリズムに対する他の外乱スコア変換に対して,本手法のいくつかの変種を評価し,外乱スコアの確率を向上する。
関連論文リスト
- SSB: Simple but Strong Baseline for Boosting Performance of Open-Set
Semi-Supervised Learning [106.46648817126984]
本稿では,挑戦的で現実的なオープンセットSSL設定について検討する。
目標は、inlierを正しく分類し、outlierを検知することである。
信頼度の高い疑似ラベル付きデータを組み込むことで、不整合分類性能を大幅に改善できることが判明した。
論文 参考訳(メタデータ) (2023-11-17T15:14:40Z) - A Probabilistic Transformation of Distance-Based Outliers [2.1055643409860743]
距離に基づくアウトリーチスコアから解釈可能な確率的推定への総称変換について述べる。
この変換はランキング安定であり、通常のデータポイントと外れ値のデータポイントのコントラストを増加させる。
本研究は,広範囲な距離ベース外乱検出手法に一般化する。
論文 参考訳(メタデータ) (2023-05-16T14:05:30Z) - Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。
そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
論文 参考訳(メタデータ) (2023-04-04T03:48:56Z) - Normalizing Flow based Feature Synthesis for Outlier-Aware Object
Detection [8.249143014271887]
Faster R-CNNのような汎用オブジェクト検出器は、外れ値のオブジェクトに対して過信的な予測を提供する傾向にある。
我々は,不整形オブジェクトと不整形オブジェクトを区別する,新しい不整形オブジェクト検出フレームワークを提案する。
提案手法は,画像データとビデオデータの両方において,外部認識オブジェクト検出の最先端性を大幅に向上させる。
論文 参考訳(メタデータ) (2023-02-01T13:12:00Z) - Robust computation of optimal transport by $\beta$-potential
regularization [79.24513412588745]
最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。
我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。
提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
論文 参考訳(メタデータ) (2022-12-26T18:37:28Z) - C-AllOut: Catching & Calling Outliers by Type [10.69970450827617]
C-AllOutは、型別に外れ値に注釈を付ける新しい外れ値検出器である。
パラメータフリーでスケーラブルであり、必要であればペアワイズな類似点(あるいは距離)でのみ動作する。
論文 参考訳(メタデータ) (2021-10-13T14:25:52Z) - Comparison of Outlier Detection Techniques for Structured Data [2.2907341026741017]
外れ値(outlier)は、与えられたデータセットの残りのデータポイントから遠く離れた観測またはデータポイントである。
モデリングの前にトレーニングデータセットから外れ値を削除することで、より良い予測が可能になることが示されている。
この研究の目的は、データサイエンティストがその情報を使って外れ値のアルゴリズムの選択を行うために、既存の外れ値検出技術をいくつか強調し、比較することである。
論文 参考訳(メタデータ) (2021-06-16T13:40:02Z) - OpenMatch: Open-set Consistency Regularization for Semi-supervised
Learning with Outliers [71.08167292329028]
我々はOpenMatchと呼ばれる新しいオープンセットセミスーパーバイザードラーニング(OSSL)アプローチを提案する。
OpenMatchは、1-vs-all(OVA)分類器に基づいた新規検出とFixMatchを統合する。
3つのデータセットで最先端のパフォーマンスを実現し、CIFAR10の未ラベルデータで見えないアウトリーチを検出する上で、完全な教師付きモデルよりも優れています。
論文 参考訳(メタデータ) (2021-05-28T23:57:15Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳(メタデータ) (2021-03-23T17:48:56Z) - Homophily Outlier Detection in Non-IID Categorical Data [43.51919113927003]
この研究は、新しい外れ値検出フレームワークとその2つのインスタンスを導入し、カテゴリデータの外れ値を特定する。
まず、分布に敏感な外部因子とその相互依存性を値値グラフベースの表現に定義し、組み込む。
学習した値の外れ度は、直接の外れ値検出または特徴選択の除外を可能にする。
論文 参考訳(メタデータ) (2021-03-21T23:29:33Z) - $\gamma$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a
Robust Divergence Estimator [95.71091446753414]
最寄りの$gamma$-divergence推定器をデータ差分尺度として用いることを提案する。
本手法は既存の不一致対策よりも高いロバスト性を実現する。
論文 参考訳(メタデータ) (2020-06-13T06:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。