Fugu-MT 論文翻訳(概要): Distributed Silhouette Algorithm: Evaluating Clustering on Big Data

論文の概要: Distributed Silhouette Algorithm: Evaluating Clustering on Big Data

arxiv url: http://arxiv.org/abs/2303.14102v1
Date: Fri, 24 Mar 2023 16:10:43 GMT
ステータス: 処理完了
システム内更新日: 2023-03-27 13:53:04.227522
Title: Distributed Silhouette Algorithm: Evaluating Clustering on Big Data
Title（参考訳）: 分散シルエットアルゴリズム:ビッグデータによるクラスタリングの評価
Authors: Marco Gaido
Abstract要約: 本稿では,Silhouetteメトリックを線形複雑で計算し,分散環境で容易に並列に実行できるアルゴリズムを提案する。その実装はApache Spark MLライブラリで無料で利用できる。
参考スコア（独自算出の注目度）: 4.240260323968493
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In the big data era, the key feature that each algorithm needs to have is the possibility of efficiently running in parallel in a distributed environment. The popular Silhouette metric to evaluate the quality of a clustering, unfortunately, does not have this property and has a quadratic computational complexity with respect to the size of the input dataset. For this reason, its execution has been hindered in big data scenarios, where clustering had to be evaluated otherwise. To fill this gap, in this paper we introduce the first algorithm that computes the Silhouette metric with linear complexity and can easily execute in parallel in a distributed environment. Its implementation is freely available in the Apache Spark ML library.
Abstract（参考訳）: ビッグデータの時代において、各アルゴリズムが持つ必要のある重要な特徴は、分散環境で効率的に並列に実行する可能性である。クラスタリングの品質を評価するための一般的なシルエット計量は、残念ながらこの性質を持たず、入力データセットのサイズに関して二次計算の複雑さを持っている。このため、クラスタリングを別途評価する必要のあるビッグデータシナリオでは、その実行が妨げられている。本稿では,このギャップを埋めるため,線形複雑性を持つシルエット計量を計算し,分散環境で並列に実行可能な最初のアルゴリズムを提案する。その実装はApache Spark MLライブラリで無料で利用できる。

関連論文リスト

From Large to Small Datasets: Size Generalization for Clustering Algorithm Selection [12.993073967843292]
我々は,未知の地下構造クラスタリングを用いて,半教師付き環境で問題を研究する。本稿では,クラスタリングアルゴリズムの精度向上のためのサイズ一般化の概念を提案する。データセット全体においてどのアルゴリズムが最適かを特定するために、データの5%をサブサンプルとして使用しています。
論文参考訳（メタデータ） (2024-02-22T06:53:35Z)
FLASC: A Flare-Sensitive Clustering Algorithm [0.0]
本稿では,クラスタ内の分岐を検知してサブポピュレーションを同定するアルゴリズムFLASCを提案する。アルゴリズムの2つの変種が提示され、ノイズの堅牢性に対する計算コストが取引される。両変種は計算コストの観点からHDBSCAN*と類似してスケールし,安定した出力を提供することを示す。
論文参考訳（メタデータ） (2023-11-27T14:55:16Z)
Data Aggregation for Hierarchical Clustering [0.3626013617212666]
BETULAは、よく知られたBIRCHデータ集約アルゴリズムの数値的に安定したバージョンである。これは、クラスタリングの品質に小さな損失しか与えずに、制約のあるリソースを持つシステムでHACを実行可能なものにするために使用できる。
論文参考訳（メタデータ） (2023-09-05T19:39:43Z)
Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [79.46465138631592]
観測されたラベルを用いてクラスタを復元する効率的なアルゴリズムを考案する。本稿では,期待値と高い確率でこれらの下位境界との性能を一致させる最初のアルゴリズムであるIACを提案する。
論文参考訳（メタデータ） (2023-06-18T08:46:06Z)
Hybrid Fuzzy-Crisp Clustering Algorithm: Theory and Experiments [0.0]
本稿では,対象関数の線形項と2次項を組み合わせたファジィクロップクラスタリングアルゴリズムを提案する。このアルゴリズムでは、クラスタへのデータポイントのメンバシップが、クラスタセンタから十分に離れていれば、自動的に正確にゼロに設定される。提案アルゴリズムは、不均衡なデータセットの従来の手法よりも優れており、よりバランスの取れたデータセットと競合することができる。
論文参考訳（メタデータ） (2023-03-25T05:27:26Z)
Lattice-Based Methods Surpass Sum-of-Squares in Clustering [98.46302040220395]
クラスタリングは教師なし学習における基本的なプリミティブである。最近の研究は、低次手法のクラスに対する低い境界を確立している。意外なことに、この特定のクラスタリングモデルのtextitdoesは、統計的-計算的ギャップを示さない。
論文参考訳（メタデータ） (2021-12-07T18:50:17Z)
Clustering Plotted Data by Image Segmentation [12.443102864446223]
クラスタリングアルゴリズムは、ラベルなしデータのパターンを検出する主要な分析手法の1つである。本稿では,人間のクラスタリングデータに着想を得た,2次元空間におけるクラスタリングポイントの全く異なる方法を提案する。私たちのアプローチであるVisual Clusteringは、従来のクラスタリングアルゴリズムよりもいくつかのアドバンテージを持っています。
論文参考訳（メタデータ） (2021-10-06T06:19:30Z)
Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
論文参考訳（メタデータ） (2020-10-22T15:58:35Z)
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文参考訳（メタデータ） (2020-05-22T23:07:42Z)
Learnable Subspace Clustering [76.2352740039615]
本研究では,大規模サブスペースクラスタリング問題を効率的に解くために,学習可能なサブスペースクラスタリングパラダイムを開発する。鍵となる考え方は、高次元部分空間を下層の低次元部分空間に分割するパラメトリック関数を学ぶことである。我々の知る限り、本論文は、サブスペースクラスタリング手法の中で、数百万のデータポイントを効率的にクラスタ化する最初の試みである。
論文参考訳（メタデータ） (2020-04-09T12:53:28Z)
New advances in enumerative biclustering algorithms with online partitioning [80.22629846165306]
さらに、数値データセットの列に定数値を持つ最大二クラスタの効率的で完全で正しい非冗長列挙を実現できる二クラスタリングアルゴリズムであるRIn-Close_CVCを拡張した。改良されたアルゴリズムはRIn-Close_CVC3と呼ばれ、RIn-Close_CVCの魅力的な特性を保ちます。
論文参考訳（メタデータ） (2020-03-07T14:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。