論文の概要: Revisiting Discriminative Entropy Clustering and its relation to K-means

• arxiv url: http://arxiv.org/abs/2301.11405v1
• Date: Thu, 26 Jan 2023 20:35:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 17:17:22.568670
• Title: Revisiting Discriminative Entropy Clustering and its relation to K-means
• Title（参考訳）: 判別エントロピークラスタリングの再検討とk-meansとの関係
• Authors: Zhongwen Zhang, Yuri Boykov
• Abstract要約: 本稿では,識別的クラスタリング手法と生成的クラスタリング手法の違いについて論じる。 我々は,標準エントロピークラスタリングの狭いマージンに対する感受性を示し,項の明確なマージンを動機付けている。 我々は,従来の代替手段よりもはるかに高速な損失に対するEMアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 12.290373155542335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Maximization of mutual information between the model's input and output is formally related to "decisiveness" and "fairness" of the softmax predictions, motivating such unsupervised entropy-based losses for discriminative neural networks. Recent self-labeling methods based on such losses represent the state of the art in deep clustering. However, some important properties of entropy clustering are not well-known, or even misunderstood. For example, we provide a counterexample to prior claims about equivalence to variance clustering (K-means) and point out technical mistakes in such theories. We discuss the fundamental differences between these discriminative and generative clustering approaches. Moreover, we show the susceptibility of standard entropy clustering to narrow margins and motivate an explicit margin maximization term. We also propose an improved self-labeling loss; it is robust to pseudo-labeling errors and enforces stronger fairness. We develop an EM algorithm for our loss that is significantly faster than the standard alternatives. Our results improve the state-of-the-art on standard benchmarks.
• Abstract（参考訳）: モデルの入力と出力の間の相互情報の最大化は、ソフトマックス予測の「決定性」と「フェアネス」と正式に関連しており、識別ニューラルネットワークに対する教師なしエントロピーに基づく損失を動機付けている。 このような損失に基づく最近の自己ラベル手法は、ディープクラスタリングにおける技術の現状を表している。 しかしながら、エントロピークラスタリングの重要な特性のいくつかは、よく知られておらず、誤解されている。 例えば、分散クラスタリング(K-平均)の等価性に関する事前の主張に対する反例を示し、そのような理論の技術的誤りを指摘する。 これらの識別的クラスタリングアプローチと生成的クラスタリングアプローチの根本的な違いについて論じる。 さらに, 標準エントロピークラスタリングの狭いマージンに対する感受性を示し, 明らかなマージン最大化項を動機付ける。 また,疑似ラベル誤りに対して頑健であり,公平性が強い自己ラベル損失の改善を提案する。 我々は,従来の代替手段よりもはるかに高速なEMアルゴリズムを開発した。 その結果,標準ベンチマークの最先端性能が向上した。

関連論文リスト

• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Likelihood Adjusted Semidefinite Programs for Clustering Heterogeneous Data [16.153709556346417]
  クラスタリングは広くデプロイされた学習ツールである。 iLA-SDPはEMよりも感度が低く、高次元データでは安定である。
  論文  参考訳（メタデータ） (2022-09-29T21:03:13Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Simplex Clustering via sBeta with Applications to Online Adjustment of Black-Box Predictions [16.876111500144667]
  我々はk-sBetasと呼ばれる新しい確率的クラスタリング手法を提案する。 クラスタリング分布の総括的最大アプリート(MAP)視点を提供する。 我々のコードと既存の単純なクラスタリング手法との比較および導入したソフトマックス予測ベンチマークが公開されている。
  論文  参考訳（メタデータ） (2022-07-30T18:29:11Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Personalized Federated Learning via Convex Clustering [72.15857783681658]
  本稿では,局所凸型ユーザコストを用いた個人化フェデレーション学習のためのアルゴリズム群を提案する。 提案するフレームワークは,異なるユーザのモデルの違いをペナル化する凸クラスタリングの一般化に基づいている。
  論文  参考訳（メタデータ） (2022-02-01T19:25:31Z)
• Deep Conditional Gaussian Mixture Model for Constrained Clustering [7.070883800886882]
  制約付きクラスタリングは、部分的にラベル付けされたデータの増加量に関する事前情報を利用することができる。 本稿では、直感的で解釈可能で、勾配変動推論の枠組みで効率的に訓練できる制約付きクラスタリングのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-11T13:38:09Z)
• Robust M-Estimation Based Bayesian Cluster Enumeration for Real Elliptically Symmetric Distributions [5.137336092866906]
  データセットにおける最適なクラスタ数のロバストな決定は、広範囲のアプリケーションにおいて必須の要素である。 本稿では任意のReally Symmetric(RES)分散混合モデルで使用できるように一般化する。 サンプルサイズが有限であるデータセットに対して,ロバストな基準を導出するとともに,大規模なサンプルサイズでの計算コスト削減のための近似を提供する。
  論文  参考訳（メタデータ） (2020-05-04T11:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。