論文の概要: Boosting K-means for Big Data by Fusing Data Streaming with Global Optimization

• arxiv url: http://arxiv.org/abs/2410.14548v1
• Date: Fri, 18 Oct 2024 15:43:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:05.279275
• Title: Boosting K-means for Big Data by Fusing Data Streaming with Global Optimization
• Title（参考訳）: グローバル最適化によるデータストリーミングによるビッグデータのK平均化
• Authors: Ravil Mussabayev, Rustam Mussabayev,
• Abstract要約: K平均クラスタリングはデータマイニングの基盤であるが、その効率は大量のデータセットに直面すると悪化する。 可変近傍探索(VNS)メタヒューリスティックを利用して,K平均クラスタリングをビッグデータに最適化する新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.3069335774032178
• License:
• Abstract: K-means clustering is a cornerstone of data mining, but its efficiency deteriorates when confronted with massive datasets. To address this limitation, we propose a novel heuristic algorithm that leverages the Variable Neighborhood Search (VNS) metaheuristic to optimize K-means clustering for big data. Our approach is based on the sequential optimization of the partial objective function landscapes obtained by restricting the Minimum Sum-of-Squares Clustering (MSSC) formulation to random samples from the original big dataset. Within each landscape, systematically expanding neighborhoods of the currently best (incumbent) solution are explored by reinitializing all degenerate and a varying number of additional centroids. Extensive and rigorous experimentation on a large number of real-world datasets reveals that by transforming the traditional local search into a global one, our algorithm significantly enhances the accuracy and efficiency of K-means clustering in big data environments, becoming the new state of the art in the field.
• Abstract（参考訳）: K平均クラスタリングはデータマイニングの基盤であるが、その効率は大量のデータセットに直面すると悪化する。 この制限に対処するために、可変近傍探索(VNS)メタヒューリスティックを利用して、ビッグデータのK平均クラスタリングを最適化する新しいヒューリスティックアルゴリズムを提案する。 提案手法は,MSSC(Minimum Sum-of-Squares Clustering)の定式化を従来の大データセットからのランダムなサンプルに制限することで得られる,部分的目的関数のランドスケープの逐次最適化に基づいている。 それぞれの風景の中で、現在最も良い(既存の)溶液の体系的に拡張された近傍は、全ての退化と様々な数の遠心子を再初期化することによって探索される。 大規模かつ厳密な実世界のデータセット実験により,従来の局所探索をグローバルな検索に変換することで,ビッグデータ環境におけるK平均クラスタリングの精度と効率を大幅に向上させ,この分野における新たな最先端技術となることが判明した。

関連論文リスト

• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Comparative Analysis of Optimization Strategies for K-means Clustering in Big Data Contexts: A Review [0.3069335774032178]
  K-meansはクラスタリングアルゴリズムとして広く使用されているが、大規模なデータセットを扱う場合、スケーラビリティの問題に悩まされる可能性がある。 本稿では、並列化、近似、サンプリング方法など、これらの問題を克服するための様々なアプローチについて検討する。
  論文  参考訳（メタデータ） (2023-10-15T12:35:27Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Rethinking k-means from manifold learning perspective [122.38667613245151]
  平均推定なしで直接データのクラスタを検出する新しいクラスタリングアルゴリズムを提案する。 具体的には,バタワースフィルタを用いてデータ点間の距離行列を構成する。 異なる視点に埋め込まれた相補的な情報をうまく活用するために、テンソルのSchatten p-norm正規化を利用する。
  論文  参考訳（メタデータ） (2023-05-12T03:01:41Z)
• Research on Efficient Fuzzy Clustering Method Based on Local Fuzzy Granular balls [67.33923111887933]
  本稿では,データをグラニュラーボールを用いてファジィにイテレーションし,その位置にある2つのグラニュラーボールのみをデータのメンバーシップ度として検討する。 ファジィグラニュラーボールセットは、異なるデータシナリオに直面して、より多くの処理方法を使用することができる。
  論文  参考訳（メタデータ） (2023-03-07T01:52:55Z)
• A Global Optimization Algorithm for K-Center Clustering of One Billion Samples [3.4998703934432682]
  本稿では,K中心クラスタリング問題に対する実用的なグローバル最適化アルゴリズムを提案する。 クラスタ内の最大距離を最小化するために、クラスタの中心としてKサンプルを選択することを目的としている。 我々のアルゴリズムは、合成および実世界の全てのデータセットにおいて、目的関数を平均25.8%削減することができる。
  論文  参考訳（メタデータ） (2022-12-30T21:53:08Z)
• How to Use K-means for Big Data Clustering? [2.1165011830664677]
  K-meansはEuclidean Minimum Sum-of-Squares Clustering (MSSC)モデルの下で最もシンプルで広く使われているアルゴリズムである。 ビッグデータクラスタリングにK-means++アルゴリズムとK-means++アルゴリズムを用いる並列方式を提案する。
  論文  参考訳（メタデータ） (2022-04-14T08:18:01Z)
• A sampling-based approach for efficient clustering in large datasets [0.8952229340927184]
  本稿では,多数のクラスタを持つ高次元データに対して,簡便かつ効率的なクラスタリング手法を提案する。 私たちのコントリビューションは、データポイントとクラスタの完全な比較を必要としないため、k-meansよりもはるかに効率的です。
  論文  参考訳（メタデータ） (2021-12-29T19:15:20Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Too Much Information Kills Information: A Clustering Perspective [6.375668163098171]
  分散に基づくk-クラスタリングタスクに対して,k-平均クラスタリング(k-means clustering)が広く知られていることを含む,単純かつ斬新なアプローチを提案する。 提案手法は、与えられたデータセットからサンプリングサブセットを選択し、サブセット内のデータ情報のみに基づいて決定する。 ある仮定では、結果のクラスタリングは、高い確率で分散に基づく目的の最適度を推定するのに十分である。
  論文  参考訳（メタデータ） (2020-09-16T01:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。