論文の概要: Kernel k-Means, By All Means: Algorithms and Strong Consistency

• arxiv url: http://arxiv.org/abs/2011.06461v1
• Date: Thu, 12 Nov 2020 16:07:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 06:42:28.433927
• Title: Kernel k-Means, By All Means: Algorithms and Strong Consistency
• Title（参考訳）: カーネルk-平均:アルゴリズムと強い一貫性
• Authors: Debolina Paul, Saptarshi Chakraborty, Swagatam Das and Jason Xu
• Abstract要約: Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。 本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。 我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
• 参考スコア（独自算出の注目度）: 21.013169939337583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel $k$-means clustering is a powerful tool for unsupervised learning of non-linearly separable data. Since the earliest attempts, researchers have noted that such algorithms often become trapped by local minima arising from non-convexity of the underlying objective function. In this paper, we generalize recent results leveraging a general family of means to combat sub-optimal local solutions to the kernel and multi-kernel settings. Called Kernel Power $k$-Means, our algorithm makes use of majorization-minimization (MM) to better solve this non-convex problem. We show the method implicitly performs annealing in kernel feature space while retaining efficient, closed-form updates, and we rigorously characterize its convergence properties both from computational and statistical points of view. In particular, we characterize the large sample behavior of the proposed method by establishing strong consistency guarantees. Its merits are thoroughly validated on a suite of simulated datasets and real data benchmarks that feature non-linear and multi-view separation.
• Abstract（参考訳）: Kernel $k$-meansクラスタリングは、非線形分離可能なデータの教師なし学習のための強力なツールである。 初期の試み以来、研究者はそのようなアルゴリズムが対象関数の非凸性から生じる局所的なミニマムに捕捉されることがしばしばあると指摘した。 本稿では,カーネルとマルチカーネル設定に対する最適でない局所解を解決できる汎用的な手法を駆使した最近の結果を一般化する。 Kernel Power $k$-Meansと呼ばれるこのアルゴリズムは、この非凸問題をよりよく解くために、メジャー化最小化(MM)を利用している。 本手法は,効率良くクローズドフォームな更新を保ちつつ,カーネル機能空間で暗黙的にアニーリングを行い,その収束特性を計算と統計の両方の観点から厳格に特徴付ける。 特に,強い一貫性を保証することにより,提案手法の大規模サンプル挙動を特徴付ける。 そのメリットは、非線形およびマルチビュー分離を備えた、一連のシミュレーションデータセットと実データベンチマークで完全に検証される。

関連論文リスト

• Kernel Alignment for Unsupervised Feature Selection via Matrix Factorization [8.020732438595905]
  教師なしの特徴選択は、いわゆる次元の呪いを和らげるために有効であることが証明されている。 多くの既存行列分解に基づく教師なし特徴選択法は、サブスペース学習に基づいて構築されている。 本稿では,カーネル関数とカーネルアライメントを統合したモデルを構築する。 これにより、線形および非線形の類似情報を学習し、最適なカーネルを自動的に生成することができる。
  論文  参考訳（メタデータ） (2024-03-13T20:35:44Z)
• Kernel Correlation-Dissimilarity for Multiple Kernel k-Means Clustering [21.685153346752124]
  現在の手法は情報多様性を高め、相関性や相似性に基づいて複数のカーネル間の相互依存を利用して冗長性を低減する。 本稿では,カーネルの相関と相似性の両方を体系的に統合する新しい手法を提案する。 カーネル相関と相違点のコヒーレンスを強調することにより,非線形情報抽出のためのより客観的かつ透明な戦略を提供する。
  論文  参考訳（メタデータ） (2024-03-06T04:24:43Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
  自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。 我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。 カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
  論文  参考訳（メタデータ） (2022-09-29T15:53:19Z)
• Local Sample-weighted Multiple Kernel Clustering with Consensus Discriminative Graph [73.68184322526338]
  マルチカーネルクラスタリング(MKC)は、ベースカーネルの集合から最適な情報融合を実現するためにコミットされる。 本稿では,新しい局所サンプル重み付きマルチカーネルクラスタリングモデルを提案する。 実験により, LSWMKCはより優れた局所多様体表現を有し, 既存のカーネルやグラフベースのクラスタリングアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2022-07-05T05:00:38Z)
• Taming Nonconvexity in Kernel Feature Selection---Favorable Properties of the Laplace Kernel [77.73399781313893]
  カーネルベースの特徴選択の客観的機能を確立することが課題である。 非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
  論文  参考訳（メタデータ） (2021-06-17T11:05:48Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• SimpleMKKM: Simple Multiple Kernel K-means [49.500663154085586]
  単純なマルチカーネルk-means(SimpleMKKM)と呼ばれる,単純で効果的なマルチカーネルクラスタリングアルゴリズムを提案する。 我々の基準は、カーネル係数とクラスタリング分割行列における難解な最小化最大化問題によって与えられる。 クラスタリング一般化誤差の観点から,SimpleMKKMの性能を理論的に解析する。
  論文  参考訳（メタデータ） (2020-05-11T10:06:40Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)
• Simple and Scalable Sparse k-means Clustering via Feature Ranking [14.839931533868176]
  直感的で実装が簡単で,最先端のアルゴリズムと競合する,スパースk平均クラスタリングのための新しいフレームワークを提案する。 本手法は,属性のサブセットのクラスタリングや部分的に観測されたデータ設定など,タスク固有のアルゴリズムに容易に一般化できる。
  論文  参考訳（メタデータ） (2020-02-20T02:41:02Z)
• Entropy Regularized Power k-Means Clustering [21.013169939337583]
  本稿では、クローズドフォーム更新と収束保証を享受できるスケーラブルな大規模化最小化アルゴリズムを提案する。 我々の手法は、$k$-meansと$k$-meansと同じ計算量を維持しているが、どちらも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-01-10T14:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。