論文の概要: Scalable Clustering: Large Scale Unsupervised Learning of Gaussian
Mixture Models with Outliers
- arxiv url: http://arxiv.org/abs/2302.14599v1
- Date: Tue, 28 Feb 2023 14:39:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 16:16:04.511237
- Title: Scalable Clustering: Large Scale Unsupervised Learning of Gaussian
Mixture Models with Outliers
- Title(参考訳): スケーラブルクラスタリング:異常値を持つガウス混合モデルの大規模非教師なし学習
- Authors: Yijia Zhou, Kyle A. Gallivan, Adrian Barbu
- Abstract要約: 本稿では,損失最小化に基づくロバストなクラスタリングアルゴリズムを提案する。
これはアルゴリズムが高い確率で高い精度を得るという理論的保証を提供する。
実世界の大規模データセットの実験では、アルゴリズムの有効性が示されている。
- 参考スコア(独自算出の注目度): 5.478764356647437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Clustering is a widely used technique with a long and rich history in a
variety of areas. However, most existing algorithms do not scale well to large
datasets, or are missing theoretical guarantees of convergence. This paper
introduces a provably robust clustering algorithm based on loss minimization
that performs well on Gaussian mixture models with outliers. It provides
theoretical guarantees that the algorithm obtains high accuracy with high
probability under certain assumptions. Moreover, it can also be used as an
initialization strategy for $k$-means clustering. Experiments on real-world
large-scale datasets demonstrate the effectiveness of the algorithm when
clustering a large number of clusters, and a $k$-means algorithm initialized by
the algorithm outperforms many of the classic clustering methods in both speed
and accuracy, while scaling well to large datasets such as ImageNet.
- Abstract(参考訳): クラスタリングは、様々な分野で長く豊かな歴史を持つ広く使われているテクニックである。
しかし、既存のアルゴリズムは大きなデータセットにうまくスケールしていないか、あるいは収束の理論的保証が欠けている。
本稿では,ガウス混合モデルに対して,損失最小化に基づく頑健なクラスタリングアルゴリズムを提案する。
これはアルゴリズムが特定の仮定の下で高い確率で高い精度を得るという理論的保証を提供する。
さらに、$k$-meansクラスタリングの初期化戦略としても使用できる。
実世界の大規模データセットに関する実験では、多数のクラスタをクラスタリングするアルゴリズムの有効性が実証され、アルゴリズムによって初期化された$k$-meansアルゴリズムは、imagenetのような大規模データセットによくスケーリングしながら、多くの古典的なクラスタリング手法をスピードと精度で上回っている。
関連論文リスト
- GBCT: An Efficient and Adaptive Granular-Ball Clustering Algorithm for Complex Data [49.56145012222276]
粒状球クラスタリング(GBCT)と呼ばれる新しいクラスタリングアルゴリズムを提案する。
GBCTは、従来の点関係ではなく、グラニュラーボールの関係に従ってクラスタを形成する。
グラニュラーボールは様々な複雑なデータに適合するので、GBCTは従来のクラスタリング法よりも非球面データセットにおいてはるかに優れている。
論文 参考訳(メタデータ) (2024-10-17T07:32:05Z) - From Large to Small Datasets: Size Generalization for Clustering
Algorithm Selection [12.993073967843292]
我々は,未知の地下構造クラスタリングを用いて,半教師付き環境で問題を研究する。
本稿では,クラスタリングアルゴリズムの精度向上のためのサイズ一般化の概念を提案する。
データセット全体においてどのアルゴリズムが最適かを特定するために、データの5%をサブサンプルとして使用しています。
論文 参考訳(メタデータ) (2024-02-22T06:53:35Z) - A provable initialization and robust clustering method for general mixture models [6.806940901668607]
クラスタリングは、異種データの存在下での統計機械学習の基本的なツールである。
最新の結果は、ガウス以下の誤差を伴うセントロイドの周りにデータが分散されている場合に、最適なラベルの誤りを保証することに焦点が当てられている。
論文 参考訳(メタデータ) (2024-01-10T22:56:44Z) - A Weighted K-Center Algorithm for Data Subset Selection [70.49696246526199]
サブセット選択は、トレーニングデータの小さな部分を特定する上で重要な役割を果たす、基本的な問題である。
我々は,k中心および不確かさサンプリング目的関数の重み付け和に基づいて,サブセットを計算する新しい係数3近似アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-12-17T04:41:07Z) - Rethinking k-means from manifold learning perspective [122.38667613245151]
平均推定なしで直接データのクラスタを検出する新しいクラスタリングアルゴリズムを提案する。
具体的には,バタワースフィルタを用いてデータ点間の距離行列を構成する。
異なる視点に埋め込まれた相補的な情報をうまく活用するために、テンソルのSchatten p-norm正規化を利用する。
論文 参考訳(メタデータ) (2023-05-12T03:01:41Z) - Research on Efficient Fuzzy Clustering Method Based on Local Fuzzy
Granular balls [67.33923111887933]
本稿では,データをグラニュラーボールを用いてファジィにイテレーションし,その位置にある2つのグラニュラーボールのみをデータのメンバーシップ度として検討する。
ファジィグラニュラーボールセットは、異なるデータシナリオに直面して、より多くの処理方法を使用することができる。
論文 参考訳(メタデータ) (2023-03-07T01:52:55Z) - How to Use K-means for Big Data Clustering? [2.1165011830664677]
K-meansはEuclidean Minimum Sum-of-Squares Clustering (MSSC)モデルの下で最もシンプルで広く使われているアルゴリズムである。
ビッグデータクラスタリングにK-means++アルゴリズムとK-means++アルゴリズムを用いる並列方式を提案する。
論文 参考訳(メタデータ) (2022-04-14T08:18:01Z) - Divide-and-conquer based Large-Scale Spectral Clustering [8.545202841051582]
そこで本研究では,分散・分散型大規模スペクトルクラスタリング手法を提案し,効率と効率のバランスを良くする。
提案手法は,既存の大規模スペクトルクラスタリングよりも計算量が少ない。
論文 参考訳(メタデータ) (2021-04-30T15:09:45Z) - Clustering of Big Data with Mixed Features [3.3504365823045044]
我々は混合型の大規模データのための新しいクラスタリングアルゴリズムを開発した。
このアルゴリズムは、比較的低い密度値の外れ値とクラスターを検出することができる。
本研究では,本アルゴリズムが実際に有効であることを示す実験結果を示す。
論文 参考訳(メタデータ) (2020-11-11T19:54:38Z) - Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。
我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
論文 参考訳(メタデータ) (2020-10-22T15:58:35Z) - Differentially Private Clustering: Tight Approximation Ratios [57.89473217052714]
基本的なクラスタリング問題に対して,効率的な微分プライベートアルゴリズムを提案する。
この結果から,SampleとAggregateのプライバシーフレームワークのアルゴリズムの改善が示唆された。
1-Clusterアルゴリズムで使用されるツールの1つは、ClosestPairのより高速な量子アルゴリズムを適度な次元で得るために利用できる。
論文 参考訳(メタデータ) (2020-08-18T16:22:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。