論文の概要: Faithful Density-Peaks Clustering via Matrix Computations on MPI Parallelization System
- arxiv url: http://arxiv.org/abs/2406.12297v1
- Date: Tue, 18 Jun 2024 06:05:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 20:35:42.128952
- Title: Faithful Density-Peaks Clustering via Matrix Computations on MPI Parallelization System
- Title（参考訳）: MPI並列化システムにおける行列計算による忠実密度ピーククラスタリング
- Authors: Ji Xu, Tianlong Xiao, Jinye Yang, Panpan Zhu,
- Abstract要約: 密度ピーククラスタリング(DP)は任意の形状のクラスタを検出し、非ユークリッド空間データをクラスタリングする能力を持つ。
本稿では,2種類のベクトル状距離行列と逆前ノードファイリングポリシを併用した忠実かつ並列なDP法を提案する。
本手法は,コミュニティ検出などの非ユークリッドデータをクラスタリングすると同時に,大規模ユークリッドデータをクラスタリングする場合の精度において,最先端の手法よりも優れる。
- 参考スコア（独自算出の注目度）: 7.594123537718585
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Density peaks clustering (DP) has the ability of detecting clusters of arbitrary shape and clustering non-Euclidean space data, but its quadratic complexity in both computing and storage makes it difficult to scale for big data. Various approaches have been proposed in this regard, including MapReduce based distribution computing, multi-core parallelism, presentation transformation (e.g., kd-tree, Z-value), granular computing, and so forth. However, most of these existing methods face two limitations. One is their target datasets are mostly constrained to be in Euclidian space, the other is they emphasize only on local neighbors while ignoring global data distribution due to restriction to cut-off kernel when computing density. To address the two issues, we present a faithful and parallel DP method that makes use of two types of vector-like distance matrices and an inverse leading-node-finding policy. The method is implemented on a message passing interface (MPI) system. Extensive experiments showed that our method is capable of clustering non-Euclidean data such as in community detection, while outperforming the state-of-the-art counterpart methods in accuracy when clustering large Euclidean data. Our code is publicly available at https://github.com/alanxuji/FaithPDP.
- Abstract（参考訳）: 密度ピーククラスタリング(DP)は任意の形状のクラスタを検出し,非ユークリッド空間データをクラスタリングする能力を持つが,計算とストレージの2次複雑さにより,ビッグデータのスケールアップが困難になる。
この点に関して、MapReduceベースの分散コンピューティング、マルチコア並列処理、プレゼンテーション変換(例えば、kd-tree、Z-value)、粒度計算など、様々なアプローチが提案されている。
しかし、これらの既存の手法のほとんどは2つの制限に直面している。
ひとつは、ターゲットとするデータセットが主にユークリッド空間に制限されていること、もうひとつは、計算密度の計算時にカーネルの切断に制限があるため、グローバルなデータ分散を無視しながら、ローカルな隣人にのみ重点を置いていることだ。
この2つの問題に対処するために,ベクトル状距離行列と逆前ノードファイリングポリシを併用した,忠実かつ並列なDP法を提案する。
この方法はメッセージパッシングインタフェース(MPI)システムに実装されている。
大規模なユークリッドデータをクラスタリングする場合,コミュニティ検出などの非ユークリッドデータをクラスタリングできると同時に,最先端の手法よりも精度が高いことを示した。
私たちのコードはhttps://github.com/alanxuji/FaithPDP.comで公開されています。
関連論文リスト
- Clustering Based on Density Propagation and Subcluster Merging [92.15924057172195]
本稿では,クラスタ数を自動的に決定し,データ空間とグラフ空間の両方に適用可能な密度に基づくノードクラスタリング手法を提案する。
二つのノード間の距離を計算する従来の密度クラスタリング法とは異なり,提案手法は伝播過程を通じて密度を決定する。
論文 参考訳（メタデータ） (2024-11-04T04:09:36Z) - Linear time Evidence Accumulation Clustering with KMeans [0.0]
この研究は、平均的なリンククラスタリングの振る舞いを模倣するトリックを記述する。
分割の密度を効率よく計算する方法を見つけ、二次的な複雑さから線形的な複雑さへのコストを削減した。
k平均結果は、計算コストを低く保ちながら、NMIの観点からは、最先端の技術に匹敵する。
論文 参考訳（メタデータ） (2023-11-15T14:12:59Z) - DECWA : Density-Based Clustering using Wasserstein Distance [1.4132765964347058]
空間密度と確率的アプローチに基づく新しいクラスタリングアルゴリズムを提案する。
提案手法は, 様々なデータセットにおいて, 最先端の密度に基づくクラスタリング手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-25T11:10:08Z) - Distribution-Based Trajectory Clustering [14.781854651899705]
軌道クラスタリングは、軌道データの共通パターンの発見を可能にする。
距離測定には高い計算コストと低い忠実度という2つの課題がある。
我々は,最近の分散カーネル(IDK)を3つの課題に対処するための主要なツールとして利用することを提案する。
論文 参考訳（メタデータ） (2023-10-08T11:28:34Z) - Rethinking k-means from manifold learning perspective [122.38667613245151]
平均推定なしで直接データのクラスタを検出する新しいクラスタリングアルゴリズムを提案する。
具体的には,バタワースフィルタを用いてデータ点間の距離行列を構成する。
異なる視点に埋め込まれた相補的な情報をうまく活用するために、テンソルのSchatten p-norm正規化を利用する。
論文 参考訳（メタデータ） (2023-05-12T03:01:41Z) - Density-Based Clustering with Kernel Diffusion [59.4179549482505]
単位$d$次元ユークリッド球のインジケータ関数に対応するナイーブ密度は、密度に基づくクラスタリングアルゴリズムで一般的に使用される。
局所分布特性と滑らかさの異なるデータに適応する新しいカーネル拡散密度関数を提案する。
論文 参考訳（メタデータ） (2021-10-11T09:00:33Z) - Clustering Plotted Data by Image Segmentation [12.443102864446223]
クラスタリングアルゴリズムは、ラベルなしデータのパターンを検出する主要な分析手法の1つである。
本稿では,人間のクラスタリングデータに着想を得た,2次元空間におけるクラスタリングポイントの全く異なる方法を提案する。
私たちのアプローチであるVisual Clusteringは、従来のクラスタリングアルゴリズムよりもいくつかのアドバンテージを持っています。
論文 参考訳（メタデータ） (2021-10-06T06:19:30Z) - Index $t$-SNE: Tracking Dynamics of High-Dimensional Datasets with
Coherent Embeddings [1.7188280334580195]
本稿では,クラスタの位置を保存した新しいものを作成するために,埋め込みを再利用する手法を提案する。
提案アルゴリズムは,新しい項目を埋め込むために$t$-SNEと同じ複雑さを持つ。
論文 参考訳（メタデータ） (2021-09-22T06:45:37Z) - Determinantal consensus clustering [77.34726150561087]
本稿では,クラスタリングアルゴリズムのランダム再起動における決定点プロセス (DPP) の利用を提案する。
DPPは部分集合内の中心点の多様性を好んでいる。
DPPとは対照的に、この手法は多様性の確保と、すべてのデータフェースについて良好なカバレッジを得るために失敗することを示す。
論文 参考訳（メタデータ） (2021-02-07T23:48:24Z) - Overcomplete Deep Subspace Clustering Networks [80.16644725886968]
4つのベンチマークデータセットの実験結果から,クラスタリング誤差の観点から,DSCや他のクラスタリング手法に対する提案手法の有効性が示された。
また,本手法は,最高の性能を得るために事前学習を中止する点にDSCほど依存せず,騒音にも頑健である。
論文 参考訳（メタデータ） (2020-11-16T22:07:18Z) - Learnable Subspace Clustering [76.2352740039615]
本研究では,大規模サブスペースクラスタリング問題を効率的に解くために,学習可能なサブスペースクラスタリングパラダイムを開発する。
鍵となる考え方は、高次元部分空間を下層の低次元部分空間に分割するパラメトリック関数を学ぶことである。
我々の知る限り、本論文は、サブスペースクラスタリング手法の中で、数百万のデータポイントを効率的にクラスタ化する最初の試みである。
論文 参考訳（メタデータ） (2020-04-09T12:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。