論文の概要: The K-SCAN Clustering Algorithm
- arxiv url: http://arxiv.org/abs/2607.24537v1
- Date: Mon, 27 Jul 2026 15:16:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.474443
- Title: The K-SCAN Clustering Algorithm
- Title(参考訳): K-SCANクラスタリングアルゴリズム
- Abstract要約: 本稿では,このトレードオフを最適化する新しいハイブリッドアルゴリズムK-SCANを提案する。
この方法は予備ベクトル量子化(Stochastic Mini-Batch K-Means)を統合し、減量されたマイクロクラスターを抽出する。
階層的BIRCHアルゴリズムよりも3倍以上のスピードアップを実現し、木構造体のコスト管理を回避する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the Big Data era, the scalability of clustering algorithms constitutes a key challenge. Traditional density-based methods (e.g., DBSCAN) offer robustness to noise and the ability to detect non-linear clusters, yet their quadratic time complexity $O(N^2)$ drastically limits their applicability. Conversely, partitional algorithms (e.g., K-Means), with their linear complexity $O(N)$, impose sphericity on the resulting groups and fail in the presence of outliers. This paper presents K-SCAN -- a novel hybrid algorithm that optimizes this trade-off. The method integrates preliminary vector quantization (stochastic Mini-Batch K-Means) to extract a reduced set of weighted micro-clusters, followed by a subsequent density-based structural analysis. Empirical evaluation on datasets of up to $10^6$ samples confirms the linear computational complexity of the proposed solution. K-SCAN achieves more than a 3-fold speed-up over the hierarchical BIRCH algorithm, avoiding the costly management of tree-based structures. The method precisely identifies non-linear manifolds while maintaining structural stability (Adjusted Rand Index > 0.99), even with noise levels reaching 55\% of the data volume. The main limitation of the proposed algorithm, which could not be fully eliminated in the present study, remains its susceptibility to over-smoothing and its difficulty in separating clusters with highly heterogeneous local density. In complex visual spaces, this can lead to the loss of the finest topological details.
- Abstract(参考訳): ビッグデータの時代では、クラスタリングアルゴリズムのスケーラビリティが重要な課題となっている。
従来の密度に基づく手法(例えば、DBSCAN)は、ノイズに対する堅牢性と非線形クラスタを検出する能力を提供するが、その二次時間複雑性$O(N^2)$は適用可能性を大幅に制限する。
逆に、分割アルゴリズム(例えば、K-平均)は、その線形複雑性$O(N)$で、結果の群に球面性を課し、外れ値の存在に失敗する。
本稿では,このトレードオフを最適化する新しいハイブリッドアルゴリズムK-SCANを提案する。
この方法は、予備ベクトル量子化(確率的ミニバッチK平均)を統合して、減量されたマイクロクラスターの集合を抽出し、続いて密度に基づく構造解析を行う。
最大10^6$サンプルのデータセットに対する経験的評価は,提案手法の線形計算複雑性を裏付けるものである。
K-SCANは階層的BIRCHアルゴリズムよりも3倍以上の高速化を実現し、木構造体のコスト管理を回避する。
この手法は構造安定性を維持しながら非線形多様体を正確に同定する(Adjusted Rand Index > 0.99)。
本研究で完全に排除できないアルゴリズムの主な限界は、過度な平滑化への感受性と、高度に均一な局所密度を持つクラスターの分離が困難であることである。
複雑な視覚空間では、これは最も優れた位相的詳細が失われる可能性がある。
関連論文リスト
- Active Learning with Low-Rank Structure for Data Selection [85.43185363043362]
低ランク近似と残差に基づくサンプリングに基づく新しいデータ選択フレームワークを提案する。
平均損失がデータセット全体の平均損失を近似した$tildeOleft(k + frac1varepsilon2right)$データポイントの重み付きサブセットを選択することができることを示す。
論文 参考訳(メタデータ) (2026-06-14T22:29:59Z) - Near-Optimal Clustering in Mixture of Markov Chains [74.3828414695655]
我々は、長さ$H$の軌跡を、大きさ$S$の有限状態空間上の未知のエルゴードマルコフ鎖の1つによって生成される、$T$ trajectories of length $H$の問題を研究する。
我々は、連鎖の遷移核間の重み付きKL分散によって支配されるクラスタリングエラー率に基づいて、インスタンス依存で高い確率の低い境界を導出する。
次に,新しい2段階クラスタリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-06-02T05:10:40Z) - Self-Supervised Graph Embedding Clustering [70.36328717683297]
K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。
本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-24T08:59:51Z) - A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。
提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
論文 参考訳(メタデータ) (2024-09-07T06:37:23Z) - Fuzzy K-Means Clustering without Cluster Centroids [21.256564324236333]
ファジィK平均クラスタリングは教師なしデータ分析において重要な手法である。
本稿では,クラスタセントロイドへの依存を完全に排除する,ファジィテクストK-Meansクラスタリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-04-07T12:25:03Z) - Scalable Density-based Clustering with Random Projections [7.642646077340124]
本稿では,コサイン距離の高い高次元密度クラスタリングアルゴリズムであるsDBSCANを提案する。
実証的には、sDBSCANは、現実世界の百万点データセット上の他の多くのクラスタリングアルゴリズムよりもはるかに高速で精度が高い。
論文 参考訳(メタデータ) (2024-02-24T01:45:51Z) - Gap-Free Clustering: Sensitivity and Robustness of SDP [6.996002801232415]
ブロックモデル(SBM)におけるグラフクラスタリングについて,大クラスタと小クラスタの両方の存在下で検討した。
以前の凸緩和アプローチは正確な回復を達成するため、$o(sqrtn)$の小さなクラスタを許可しないか、最小の回復クラスタと最大の非回復クラスタの間のサイズギャップを必要とする。
本研究では,これらの要求を除去し,クラスタサイズによらず,大規模クラスタを確実に復元する半定値プログラミング(SDP)に基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-08-29T21:27:21Z) - SDC-HSDD-NDSA: Structure Detecting Cluster by Hierarchical Secondary Directed Differential with Normalized Density and Self-Adaption [0.0]
密度ベースのクラスタリングは最も人気のあるクラスタリングアルゴリズムである。
低密度領域で分離される限り、任意の形状のクラスターを識別することができる。
しかし、低密度領域で分離されていない高密度領域は、複数のクラスタに属する異なる構造を持つ可能性がある。
本稿では,この問題に対処する新しい密度クラスタリング手法を提案する。
論文 参考訳(メタデータ) (2023-07-02T22:30:08Z) - Fast conformational clustering of extensive molecular dynamics
simulation data [19.444636864515726]
本稿では,長い軌道の高速なコンフォーメーションクラスタリングを実現するために,教師なしのデータ処理ワークフローを提案する。
我々は密度に基づく空間クラスタリングアルゴリズム(HDBSCAN)と2つの次元削減アルゴリズム(cc_analysisとEncodermap)を組み合わせる。
4つのテストシステムの助けを借りて、このクラスタリングワークフローの機能とパフォーマンスを説明します。
論文 参考訳(メタデータ) (2023-01-11T14:36:43Z) - A density peaks clustering algorithm with sparse search and K-d tree [16.141611031128427]
この問題を解決するために,スパース探索とK-d木を用いた密度ピーククラスタリングアルゴリズムを開発した。
分散特性が異なるデータセット上で、他の5つの典型的なクラスタリングアルゴリズムと比較して実験を行う。
論文 参考訳(メタデータ) (2022-03-02T09:29:40Z) - Lattice-Based Methods Surpass Sum-of-Squares in Clustering [98.46302040220395]
クラスタリングは教師なし学習における基本的なプリミティブである。
最近の研究は、低次手法のクラスに対する低い境界を確立している。
意外なことに、この特定のクラスタリングモデルのtextitdoesは、統計的-計算的ギャップを示さない。
論文 参考訳(メタデータ) (2021-12-07T18:50:17Z) - Computationally efficient sparse clustering [67.95910835079825]
我々はPCAに基づく新しいクラスタリングアルゴリズムの有限サンプル解析を行う。
ここでは,ミニマックス最適誤クラスタ化率を,体制$|theta infty$で達成することを示す。
論文 参考訳(メタデータ) (2020-05-21T17:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。