論文の概要: A One-shot Framework for Distributed Clustered Learning in Heterogeneous Environments

• arxiv url: http://arxiv.org/abs/2209.10866v5
• Date: Sun, 22 Oct 2023 03:09:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 14:45:45.417697
• Title: A One-shot Framework for Distributed Clustered Learning in Heterogeneous Environments
• Title（参考訳）: 異種環境における分散クラスタ学習のためのワンショットフレームワーク
• Authors: Aleksandar Armacki, Dragana Bajovic, Dusan Jakovetic, Soummya Kar
• Abstract要約: 異種環境における分散学習のためのコミュニケーション効率化手法のファミリーを提案する。 ユーザによるローカル計算に基づくワンショットアプローチと、サーバにおけるクラスタリングベースのアグリゲーションステップは、強力な学習保証を提供する。 厳密な凸問題に対しては,ユーザ毎のデータ点数がしきい値を超える限り,提案手法はサンプルサイズの観点から順序最適平均二乗誤差率を達成する。
• 参考スコア（独自算出の注目度）: 54.172993875654015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The paper proposes a family of communication efficient methods for distributed learning in heterogeneous environments in which users obtain data from one of $K$ different distributions. In the proposed setup, the grouping of users (based on the data distributions they sample), as well as the underlying statistical properties of the distributions, are apriori unknown. A family of One-shot Distributed Clustered Learning methods (ODCL-$\mathcal{C}$) is proposed, parametrized by the set of admissible clustering algorithms $\mathcal{C}$, with the objective of learning the true model at each user. The admissible clustering methods include $K$-means (KM) and convex clustering (CC), giving rise to various one-shot methods within the proposed family, such as ODCL-KM and ODCL-CC. The proposed one-shot approach, based on local computations at the users and a clustering based aggregation step at the server is shown to provide strong learning guarantees. In particular, for strongly convex problems it is shown that, as long as the number of data points per user is above a threshold, the proposed approach achieves order-optimal mean-squared error (MSE) rates in terms of the sample size. An explicit characterization of the threshold is provided in terms of problem parameters. The trade-offs with respect to selecting various clustering methods (ODCL-CC, ODCL-KM) are discussed and significant improvements over state-of-the-art are demonstrated. Numerical experiments illustrate the findings and corroborate the performance of the proposed methods.
• Abstract（参考訳）: 異種環境における分散学習のためのコミュニケーション効率のよい手法のファミリーを提案し,K$の異なる分布の1つからデータを取得する。 提案した設定では,ユーザグループ化(サンプリングしたデータ分布に基づく)と,その基礎となる統計特性が不明である。 1ショット分散クラスタリング学習手法のファミリー(ODCL-$\mathcal{C}$)が提案され、各ユーザで真のモデルを学ぶことを目的として、許容クラスタリングアルゴリズムのセット$\mathcal{C}$によってパラメータ化される。 K$-means (KM) とconvex clustering (CC) は、ODCL-KM や ODCL-CC のような、提案されたファミリー内で様々なワンショットの手法をもたらす。 提案したワンショットアプローチは,ユーザのローカル計算とサーバのクラスタリングベースの集約ステップに基づいて,強力な学習保証を提供する。 特に,強い凸問題に対しては,ユーザ毎のデータポイント数がしきい値を超えている限り,サンプルサイズの観点からmse(order-optimal mean-squared error)率を達成できることが示されている。 しきい値の明示的な特徴付けは問題パラメータの観点で与えられる。 各種クラスタリング手法(ODCL-CC, ODCL-KM)の選択に関するトレードオフについて論じ, 最先端技術に対する大幅な改善が示された。 数値実験により,提案手法の有効性を実証し,考察した。

関連論文リスト

• Deep Embedding Clustering Driven by Sample Stability [16.53706617383543]
  サンプル安定性(DECS)により駆動されるディープ埋め込みクラスタリングアルゴリズムを提案する。 具体的には、まずオートエンコーダで初期特徴空間を構築し、次にサンプル安定性に制約されたクラスタ指向の埋め込み機能を学ぶ。 5つのデータセットに対する実験結果から,提案手法は最先端のクラスタリング手法と比較して優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-01-29T09:19:49Z)
• Differentially Private Federated Clustering over Non-IID Data [59.611244450530315]
  クラスタリングクラスタ(FedC)問題は、巨大なクライアント上に分散されたラベルなしデータサンプルを、サーバのオーケストレーションの下で有限のクライアントに正確に分割することを目的としている。 本稿では,DP-Fedと呼ばれる差分プライバシー収束手法を用いた新しいFedCアルゴリズムを提案する。 提案するDP-Fedの様々な属性は、プライバシー保護の理論的解析、特に非識別的かつ独立に分散された(非i.d.)データの場合において得られる。
  論文  参考訳（メタデータ） (2023-01-03T05:38:43Z)
• A parallelizable model-based approach for marginal and multivariate clustering [0.0]
  本稿では,モデルに基づくクラスタリングの頑健さを生かしたクラスタリング手法を提案する。 我々は、各マージンごとに異なる数のクラスタを持つことができる有限混合モデルを指定することで、この問題に対処する。 提案手法は、完全な(結合した)モデルベースのクラスタリング手法よりも、中程度から高次元の処理に適するだけでなく、計算的にも魅力的である。
  論文  参考訳（メタデータ） (2022-12-07T23:54:41Z)
• clusterBMA: Bayesian model averaging for clustering [1.2021605201770345]
  本稿では、教師なしクラスタリングアルゴリズムの結果の重み付きモデル平均化を可能にするクラスタBMAを提案する。 クラスタリング内部検証基準を用いて、各モデルの結果の重み付けに使用される後続モデル確率の近似を開発する。 シミュレーションデータ上での他のアンサンブルクラスタリングメソッドのパフォーマンスに加えて、クラスタBMAは平均クラスタへの確率的アロケーションを含むユニークな機能を提供する。
  論文  参考訳（メタデータ） (2022-09-09T04:55:20Z)
• Gradient Based Clustering [72.15857783681658]
  本稿では,クラスタリングの品質を計測するコスト関数の勾配を用いて,距離に基づくクラスタリングの一般的な手法を提案する。 アプローチは反復的な2段階の手順(クラスタ割り当てとクラスタセンターのアップデートの代替)であり、幅広い機能に適用できる。
  論文  参考訳（メタデータ） (2022-02-01T19:31:15Z)
• Personalized Federated Learning via Convex Clustering [72.15857783681658]
  本稿では,局所凸型ユーザコストを用いた個人化フェデレーション学習のためのアルゴリズム群を提案する。 提案するフレームワークは,異なるユーザのモデルの違いをペナル化する凸クラスタリングの一般化に基づいている。
  論文  参考訳（メタデータ） (2022-02-01T19:25:31Z)
• Robust Trimmed k-means [70.88503833248159]
  本稿では,外乱点とクラスタポイントを同時に識別するRobust Trimmed k-means (RTKM)を提案する。 RTKMは他の方法と競合することを示す。
  論文  参考訳（メタデータ） (2021-08-16T15:49:40Z)
• Neural Mixture Models with Expectation-Maximization for End-to-end Deep Clustering [0.8543753708890495]
  本稿では,ニューラルネットワークを用いた混合モデルに基づくクラスタリングを実現する。 我々は,Eステップとして前方パス,Mステップとして後方パスを動作させるバッチワイズEMイテレーションにより,ネットワークのエンドツーエンドをトレーニングする。 トレーニングされたネットワークは、k-meansに依存した単一ステージのディープクラスタリング手法よりも優れています。
  論文  参考訳（メタデータ） (2021-07-06T08:00:58Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)
• A New Validity Index for Fuzzy-Possibilistic C-Means Clustering [6.174448419090291]
  Fuzzy-Possibilistic (FP)指数は、形状や密度の異なるクラスターの存在下でうまく機能する。 FPCMはファジィの度合いと典型性の度合いを事前選択する必要がある。
  論文  参考訳（メタデータ） (2020-05-19T01:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。