論文の概要: Reliable Distributed Clustering with Redundant Data Assignment
- arxiv url: http://arxiv.org/abs/2002.08892v1
- Date: Thu, 20 Feb 2020 17:44:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 08:24:41.002091
- Title: Reliable Distributed Clustering with Redundant Data Assignment
- Title(参考訳): 冗長データ割り当てによる信頼性の高い分散クラスタリング
- Authors: Venkata Gandikota, Arya Mazumdar, Ankit Singh Rawat
- Abstract要約: 分散クラスタリングアルゴリズムは,複数のマシンにまたがる大規模データを扱うことができる。
本研究では,複数のマシンが割り当てられたローカルな計算結果に応答できない場合でも,データ全体のグローバルな情報を得ることのできる新しいデータ割当方式を提案する。
- 参考スコア(独自算出の注目度): 48.40574754136434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present distributed generalized clustering algorithms that
can handle large scale data across multiple machines in spite of straggling or
unreliable machines. We propose a novel data assignment scheme that enables us
to obtain global information about the entire data even when some machines fail
to respond with the results of the assigned local computations. The assignment
scheme leads to distributed algorithms with good approximation guarantees for a
variety of clustering and dimensionality reduction problems.
- Abstract(参考訳): 本稿では,複数のマシンにまたがる大規模データを扱う分散一般化クラスタリングアルゴリズムを提案する。
本研究では,与えられた局所計算の結果に応答しないマシンがある場合でも,データ全体のグローバル情報を得ることができる新しいデータ割当方式を提案する。
割当てスキームは分散アルゴリズムにつながり、様々なクラスタリングや次元縮小問題に対する近似保証が良好である。
関連論文リスト
- Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。
本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。
これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
論文 参考訳(メタデータ) (2024-02-03T19:00:19Z) - CORE: Common Random Reconstruction for Distributed Optimization with
Provable Low Communication Complexity [110.50364486645852]
コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。
本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
論文 参考訳(メタデータ) (2023-09-23T08:45:27Z) - Federated K-Means Clustering via Dual Decomposition-based Distributed
Optimization [0.0]
本稿では,$Kのクラスタリング問題に対する分散トレーニングに双対分解を適用する方法について述べる。
トレーニングは、異なるノードにデータを分割し、コンセンサス制約を通じてこれらのノードをリンクすることで、分散的に行うことができる。
論文 参考訳(メタデータ) (2023-07-25T05:34:50Z) - Hard Regularization to Prevent Deep Online Clustering Collapse without
Data Augmentation [65.268245109828]
オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。
オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。
本稿では,データ拡張を必要としない手法を提案する。
論文 参考訳(メタデータ) (2023-03-29T08:23:26Z) - Generating Multidimensional Clusters With Support Lines [0.0]
合成データ生成のためのモジュラープロシージャであるClugenを提案する。
Clukenはオープンソースで、包括的なユニットテストとドキュメント化が可能である。
クラスタリングアルゴリズムの評価にはClugenが適していることを示す。
論文 参考訳(メタデータ) (2023-01-24T22:08:24Z) - Optimal Clustering with Bandit Feedback [57.672609011609886]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳(メタデータ) (2022-02-09T06:05:05Z) - MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms [82.90843777097606]
欠落データに対する因果認識型計算アルゴリズム(MIRACLE)を提案する。
MIRACLEは、欠落発生機構を同時にモデル化することにより、ベースラインの計算を反復的に洗練する。
我々は、MIRACLEが一貫してイミューテーションを改善することができることを示すために、合成および様々な公開データセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2021-11-04T22:38:18Z) - ExClus: Explainable Clustering on Low-dimensional Data Representations [9.496898312608307]
次元の減少とクラスタリング技術は複雑なデータセットの分析に頻繁に使用されるが、それらの結果は容易には解釈できないことが多い。
本研究では, 直接解釈できない散乱プロット上で, クラスタ構造を解釈する際のユーザ支援について検討する。
本稿では,解釈可能なクラスタリングを自動的に計算する新しい手法を提案し,その説明は元の高次元空間にあり,クラスタリングは低次元射影においてコヒーレントである。
論文 参考訳(メタデータ) (2021-11-04T21:24:01Z) - Distributed Principal Subspace Analysis for Partitioned Big Data:
Algorithms, Analysis, and Implementation [9.730443503568804]
主部分空間解析(PSA)は、信号処理と機械学習における次元性低減のための最も一般的な手法の1つである。
集中型PSAソリューションは、最近のビッグデータでは急速に無関係になりつつある。
本稿では,マシンの任意の接続ネットワークの一般的な枠組みの下での分散PSAの問題を再考する。
論文 参考訳(メタデータ) (2021-03-11T01:33:38Z) - A semi-supervised sparse K-Means algorithm [3.04585143845864]
クラスタリングに必要な機能のサブグループを検出するために、教師なしスパースクラスタリング手法を用いることができる。
半教師付き手法では、ラベル付きデータを使用して制約を作成し、クラスタリングソリューションを強化することができる。
提案アルゴリズムは,他の半教師付きアルゴリズムの高性能性を保ち,また,情報的特徴から情報的特徴を識別する能力も保持していることを示す。
論文 参考訳(メタデータ) (2020-03-16T02:05:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。