論文の概要: SDCOR: Scalable Density-based Clustering for Local Outlier Detection in Massive-Scale Datasets

• arxiv url: http://arxiv.org/abs/2006.07616v11
• Date: Mon, 26 Apr 2021 11:50:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 20:42:32.204681
• Title: SDCOR: Scalable Density-based Clustering for Local Outlier Detection in Massive-Scale Datasets
• Title（参考訳）: SDCOR:大規模データセットにおける局所外乱検出のための拡張密度に基づくクラスタリング
• Authors: Sayyed Ahmad Naghavi Nozad and Maryam Amir Haeri and Gianluigi Folino
• Abstract要約: 本稿では,大規模データセットにおける局所外乱検出のためのバッチワイド密度に基づくクラスタリング手法を提案する。 実生活および合成データセットの評価は,提案手法の線形時間複雑性が低いことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a batch-wise density-based clustering approach for local outlier detection in massive-scale datasets. Unlike the well-known traditional algorithms, which assume that all the data is memory-resident, our proposed method is scalable and processes the input data chunk-by-chunk within the confines of a limited memory buffer. A temporary clustering model is built at the first phase; then, it is gradually updated by analyzing consecutive memory loads of points. Subsequently, at the end of scalable clustering, the approximate structure of the original clusters is obtained. Finally, by another scan of the entire dataset and using a suitable criterion, an outlying score is assigned to each object called SDCOR (Scalable Density-based Clustering Outlierness Ratio). Evaluations on real-life and synthetic datasets demonstrate that the proposed method has a low linear time complexity and is more effective and efficient compared to best-known conventional density-based methods, which need to load all data into the memory; and also, to some fast distance-based methods, which can perform on data resident in the disk.
• Abstract（参考訳）: 本稿では,大規模データセットにおける局所外乱検出のためのバッチワイド密度に基づくクラスタリング手法を提案する。 従来のアルゴリズムでは、全てのデータがメモリ常駐であると仮定するが、提案手法はスケーラブルであり、限られたメモリバッファ内のチャンク・バイ・チャンクを処理する。 一時クラスタリングモデルは第1段階で構築され、その後、ポイントの連続するメモリ負荷を分析して徐々に更新される。 その後、スケーラブルクラスタリングの最後に、元のクラスタの近似構造が得られる。 最後に、データセット全体の別のスキャンと適切な基準を用いて、sdcor(scalable density-based clustering outlierness ratio)と呼ばれる各オブジェクトにアウトリーディングスコアを割り当てる。 実時間および合成データを用いた評価により,提案手法は線形時間の複雑さが低く,メモリにすべてのデータをロードする必要のある一般的な密度ベース手法よりも効率的かつ効率的であることが判明した。

関連論文リスト

• Village-Net Clustering: A Rapid approach to Non-linear Unsupervised Clustering of High-Dimensional Data [0.0]
  教師なしクラスタリングアルゴリズム「Village-Net」を開発した。 まず、K-Meansクラスタリングを利用して、データセットを別個のサブセットに分割する。 我々は,既存の実世界のデータセットに対して,その競合性能を示すために,既知の地下構造ラベルを用いた広範なベンチマークを行う。
  論文  参考訳（メタデータ） (2025-01-16T06:56:43Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Rethinking k-means from manifold learning perspective [122.38667613245151]
  平均推定なしで直接データのクラスタを検出する新しいクラスタリングアルゴリズムを提案する。 具体的には,バタワースフィルタを用いてデータ点間の距離行列を構成する。 異なる視点に埋め込まれた相補的な情報をうまく活用するために、テンソルのSchatten p-norm正規化を利用する。
  論文  参考訳（メタデータ） (2023-05-12T03:01:41Z)
• Research on Efficient Fuzzy Clustering Method Based on Local Fuzzy Granular balls [67.33923111887933]
  本稿では,データをグラニュラーボールを用いてファジィにイテレーションし,その位置にある2つのグラニュラーボールのみをデータのメンバーシップ度として検討する。 ファジィグラニュラーボールセットは、異なるデータシナリオに直面して、より多くの処理方法を使用することができる。
  論文  参考訳（メタデータ） (2023-03-07T01:52:55Z)
• SSDBCODI: Semi-Supervised Density-Based Clustering with Outliers Detection Integrated [1.8444322599555096]
  クラスタリング分析は、機械学習における重要なタスクの1つだ。 クラスタリングクラスタリングのパフォーマンスが、異常値によって著しく損なわれる可能性があるため、アルゴリズムは、異常値検出のプロセスを組み込もうとする。 我々は,半教師付き検出素子であるSSDBCODIを提案する。
  論文  参考訳（メタデータ） (2022-08-10T21:06:38Z)
• Meta Clustering Learning for Large-scale Unsupervised Person Re-identification [124.54749810371986]
  メタクラスタリング学習(MCL)と呼ばれる「大規模タスクのための小さなデータ」パラダイムを提案する。 MCLは、第1フェーズのトレーニングのためにコンピューティングを節約するためにクラスタリングを介して、未ラベルデータのサブセットを擬似ラベル付けするのみである。 提案手法は計算コストを大幅に削減すると同時に,従来よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2021-11-19T04:10:18Z)
• Density-Based Clustering with Kernel Diffusion [59.4179549482505]
  単位$d$次元ユークリッド球のインジケータ関数に対応するナイーブ密度は、密度に基づくクラスタリングアルゴリズムで一般的に使用される。 局所分布特性と滑らかさの異なるデータに適応する新しいカーネル拡散密度関数を提案する。
  論文  参考訳（メタデータ） (2021-10-11T09:00:33Z)
• Clustering Plotted Data by Image Segmentation [12.443102864446223]
  クラスタリングアルゴリズムは、ラベルなしデータのパターンを検出する主要な分析手法の1つである。 本稿では,人間のクラスタリングデータに着想を得た,2次元空間におけるクラスタリングポイントの全く異なる方法を提案する。 私たちのアプローチであるVisual Clusteringは、従来のクラスタリングアルゴリズムよりもいくつかのアドバンテージを持っています。
  論文  参考訳（メタデータ） (2021-10-06T06:19:30Z)
• Fast Density Estimation for Density-based Clustering Methods [3.8972699157287702]
  密度に基づくクラスタリングアルゴリズムは、パターン認識や機械学習におけるクラスタの発見に広く利用されている。 密度に基づくアルゴリズムのロバスト性は、隣人を見つけ、時間を要する各点の密度を計算することによって大きく支配される。 本稿では, 高速主成分分析による密度に基づくクラスタリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-23T13:59:42Z)
• Very Compact Clusters with Structural Regularization via Similarity and Connectivity [3.779514860341336]
  本稿では,汎用データセットのためのエンドツーエンドのディープクラスタリングアルゴリズムであるVery Compact Clusters (VCC)を提案する。 提案手法は,最先端のクラスタリング手法よりも優れたクラスタリング性能を実現する。
  論文  参考訳（メタデータ） (2021-06-09T23:22:03Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。