論文の概要: From Large to Small Datasets: Size Generalization for Clustering Algorithm Selection

• arxiv url: http://arxiv.org/abs/2402.14332v1
• Date: Thu, 22 Feb 2024 06:53:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 16:01:12.036954
• Title: From Large to Small Datasets: Size Generalization for Clustering Algorithm Selection
• Title（参考訳）: 大きなデータセットから小さなデータセットへ:クラスタリングアルゴリズム選択のためのサイズ一般化
• Authors: Vaggos Chatziafratis, Ishani Karmarkar, and Ellen Vitercik
• Abstract要約: 我々は,未知の地下構造クラスタリングを用いて,半教師付き環境で問題を研究する。 本稿では,クラスタリングアルゴリズムの精度向上のためのサイズ一般化の概念を提案する。 データセット全体においてどのアルゴリズムが最適かを特定するために、データの5%をサブサンプルとして使用しています。
• 参考スコア（独自算出の注目度）: 12.993073967843292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In clustering algorithm selection, we are given a massive dataset and must efficiently select which clustering algorithm to use. We study this problem in a semi-supervised setting, with an unknown ground-truth clustering that we can only access through expensive oracle queries. Ideally, the clustering algorithm's output will be structurally close to the ground truth. We approach this problem by introducing a notion of size generalization for clustering algorithm accuracy. We identify conditions under which we can (1) subsample the massive clustering instance, (2) evaluate a set of candidate algorithms on the smaller instance, and (3) guarantee that the algorithm with the best accuracy on the small instance will have the best accuracy on the original big instance. We provide theoretical size generalization guarantees for three classic clustering algorithms: single-linkage, k-means++, and (a smoothed variant of) Gonzalez's k-centers heuristic. We validate our theoretical analysis with empirical results, observing that on real-world clustering instances, we can use a subsample of as little as 5% of the data to identify which algorithm is best on the full dataset.
• Abstract（参考訳）: クラスタリングアルゴリズムの選択では、膨大なデータセットが与えられ、どのクラスタリングアルゴリズムを使うか効率的に選択する必要があります。 我々は,この問題を,高価なオラクルクエリを通じてのみアクセス可能な,未知の地下構造クラスタリングを用いて半教師付き環境で研究する。 理想的には、クラスタリングアルゴリズムの出力は構造的に基底真理に近い。 本稿では,クラスタリングアルゴリズムの精度に対するサイズ一般化の概念を導入することにより,この問題にアプローチする。 我々は,(1)大規模クラスタリングインスタンスのサブサンプル化,(2)小さなインスタンス上での候補アルゴリズムの集合の評価,(3)小さなインスタンス上で最高の精度のアルゴリズムが元の大インスタンス上で最高の精度を持つことを保証できる条件を特定した。 我々は、シングルリンク、k-means++、および(滑らかな変種)ゴンザレスのk-センターヒューリスティックの3つの古典的クラスタリングアルゴリズムに対して、理論的大きさの一般化を保証する。 実世界のクラスタリングインスタンスでは、データの5%未満のサブサンプルを使用して、どのアルゴリズムが全データセットで最適かを特定することで、理論的分析を経験的結果で検証する。

関連論文リスト

• A Weighted K-Center Algorithm for Data Subset Selection [70.49696246526199]
  サブセット選択は、トレーニングデータの小さな部分を特定する上で重要な役割を果たす、基本的な問題である。 我々は,k中心および不確かさサンプリング目的関数の重み付け和に基づいて,サブセットを計算する新しい係数3近似アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-17T04:41:07Z)
• Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [79.46465138631592]
  観測されたラベルを用いてクラスタを復元する効率的なアルゴリズムを考案する。 本稿では,期待値と高い確率でこれらの下位境界との性能を一致させる最初のアルゴリズムであるIACを提案する。
  論文  参考訳（メタデータ） (2023-06-18T08:46:06Z)
• Scalable Clustering: Large Scale Unsupervised Learning of Gaussian Mixture Models with Outliers [5.478764356647437]
  本稿では,損失最小化に基づくロバストなクラスタリングアルゴリズムを提案する。 これはアルゴリズムが高い確率で高い精度を得るという理論的保証を提供する。 実世界の大規模データセットの実験では、アルゴリズムの有効性が示されている。
  論文  参考訳（メタデータ） (2023-02-28T14:39:18Z)
• An enhanced method of initial cluster center selection for K-means algorithm [0.0]
  K-meansアルゴリズムの初期クラスタ選択を改善するための新しい手法を提案する。 Convex Hullアルゴリズムは、最初の2つのセントロイドの計算を容易にし、残りの2つは、以前選択された中心からの距離に応じて選択される。 We obtained only 7.33%, 7.90%, and 0% clustering error in Iris, Letter, and Ruspini data。
  論文  参考訳（メタデータ） (2022-10-18T00:58:50Z)
• SSDBCODI: Semi-Supervised Density-Based Clustering with Outliers Detection Integrated [1.8444322599555096]
  クラスタリング分析は、機械学習における重要なタスクの1つだ。 クラスタリングクラスタリングのパフォーマンスが、異常値によって著しく損なわれる可能性があるため、アルゴリズムは、異常値検出のプロセスを組み込もうとする。 我々は,半教師付き検出素子であるSSDBCODIを提案する。
  論文  参考訳（メタデータ） (2022-08-10T21:06:38Z)
• Differentially-Private Clustering of Easy Instances [67.04951703461657]
  異なるプライベートクラスタリングでは、個々のデータポイントに関する情報を公開せずに、$k$のクラスタセンターを特定することが目標だ。 我々は、データが"簡単"である場合にユーティリティを提供する実装可能な差分プライベートクラスタリングアルゴリズムを提供する。 我々は、非プライベートクラスタリングアルゴリズムを簡単なインスタンスに適用し、結果をプライベートに組み合わせることのできるフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-29T08:13:56Z)
• Clustering of Big Data with Mixed Features [3.3504365823045044]
  我々は混合型の大規模データのための新しいクラスタリングアルゴリズムを開発した。 このアルゴリズムは、比較的低い密度値の外れ値とクラスターを検出することができる。 本研究では,本アルゴリズムが実際に有効であることを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-11-11T19:54:38Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)
• Differentially Private Clustering: Tight Approximation Ratios [57.89473217052714]
  基本的なクラスタリング問題に対して,効率的な微分プライベートアルゴリズムを提案する。 この結果から,SampleとAggregateのプライバシーフレームワークのアルゴリズムの改善が示唆された。 1-Clusterアルゴリズムで使用されるツールの1つは、ClosestPairのより高速な量子アルゴリズムを適度な次元で得るために利用できる。
  論文  参考訳（メタデータ） (2020-08-18T16:22:06Z)
• Probabilistic Partitive Partitioning (PPP) [0.0]
  クラスタリングアルゴリズムは一般に2つの一般的な問題に直面している。 彼らは異なる初期条件で異なる設定に収束する。 クラスタの数は、事前に任意に決めなければならない。
  論文  参考訳（メタデータ） (2020-03-09T19:18:35Z)
• Optimal Clustering from Noisy Binary Feedback [75.17453757892152]
  本稿では,二元的ユーザフィードバックから一組のアイテムをクラスタリングする問題について検討する。 最小クラスタ回復誤差率のアルゴリズムを考案する。 適応選択のために,情報理論的誤差下界の導出にインスパイアされたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2019-10-14T09:18:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。