論文の概要: Revisiting Discriminative Entropy Clustering and its relation to K-means
- arxiv url: http://arxiv.org/abs/2301.11405v1
- Date: Thu, 26 Jan 2023 20:35:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 17:17:22.568670
- Title: Revisiting Discriminative Entropy Clustering and its relation to K-means
- Title(参考訳): 判別エントロピークラスタリングの再検討とk-meansとの関係
- Authors: Zhongwen Zhang, Yuri Boykov
- Abstract要約: 本稿では,識別的クラスタリング手法と生成的クラスタリング手法の違いについて論じる。
我々は,標準エントロピークラスタリングの狭いマージンに対する感受性を示し,項の明確なマージンを動機付けている。
我々は,従来の代替手段よりもはるかに高速な損失に対するEMアルゴリズムを開発した。
- 参考スコア(独自算出の注目度): 12.290373155542335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Maximization of mutual information between the model's input and output is
formally related to "decisiveness" and "fairness" of the softmax predictions,
motivating such unsupervised entropy-based losses for discriminative neural
networks. Recent self-labeling methods based on such losses represent the state
of the art in deep clustering. However, some important properties of entropy
clustering are not well-known, or even misunderstood. For example, we provide a
counterexample to prior claims about equivalence to variance clustering
(K-means) and point out technical mistakes in such theories. We discuss the
fundamental differences between these discriminative and generative clustering
approaches. Moreover, we show the susceptibility of standard entropy clustering
to narrow margins and motivate an explicit margin maximization term. We also
propose an improved self-labeling loss; it is robust to pseudo-labeling errors
and enforces stronger fairness. We develop an EM algorithm for our loss that is
significantly faster than the standard alternatives. Our results improve the
state-of-the-art on standard benchmarks.
- Abstract(参考訳): モデルの入力と出力の間の相互情報の最大化は、ソフトマックス予測の「決定性」と「フェアネス」と正式に関連しており、識別ニューラルネットワークに対する教師なしエントロピーに基づく損失を動機付けている。
このような損失に基づく最近の自己ラベル手法は、ディープクラスタリングにおける技術の現状を表している。
しかしながら、エントロピークラスタリングの重要な特性のいくつかは、よく知られておらず、誤解されている。
例えば、分散クラスタリング(K-平均)の等価性に関する事前の主張に対する反例を示し、そのような理論の技術的誤りを指摘する。
これらの識別的クラスタリングアプローチと生成的クラスタリングアプローチの根本的な違いについて論じる。
さらに, 標準エントロピークラスタリングの狭いマージンに対する感受性を示し, 明らかなマージン最大化項を動機付ける。
また,疑似ラベル誤りに対して頑健であり,公平性が強い自己ラベル損失の改善を提案する。
我々は,従来の代替手段よりもはるかに高速なEMアルゴリズムを開発した。
その結果,標準ベンチマークの最先端性能が向上した。
関連論文リスト
- FEMDA: a unified framework for discriminant analysis [4.6040036610482655]
非ガウスデータセットを扱うための新しいアプローチを提案する。
考慮されているモデルは、任意のスケールパラメータを持つクラスタ毎の任意の対称性(ES)分布である。
新しい決定規則を導出することにより,最大値のパラメータ推定と分類が,最先端手法と比較してシンプルで効率的で堅牢であることを示す。
論文 参考訳(メタデータ) (2023-11-13T17:59:37Z) - Rethinking k-means from manifold learning perspective [122.38667613245151]
平均推定なしで直接データのクラスタを検出する新しいクラスタリングアルゴリズムを提案する。
具体的には,バタワースフィルタを用いてデータ点間の距離行列を構成する。
異なる視点に埋め込まれた相補的な情報をうまく活用するために、テンソルのSchatten p-norm正規化を利用する。
論文 参考訳(メタデータ) (2023-05-12T03:01:41Z) - Multi-View Clustering via Semi-non-negative Tensor Factorization [120.87318230985653]
半負のテンソル因子分解(Semi-NTF)に基づく新しいマルチビュークラスタリングを開発する。
本モデルは、ビュー間の関係を直接考慮し、ビュー間の補完情報を利用する。
さらに,提案手法の最適化アルゴリズムを提案し,そのアルゴリズムが常に定常KKT点に収束することを数学的に証明する。
論文 参考訳(メタデータ) (2023-03-29T14:54:19Z) - Likelihood Adjusted Semidefinite Programs for Clustering Heterogeneous
Data [16.153709556346417]
クラスタリングは広くデプロイされた学習ツールである。
iLA-SDPはEMよりも感度が低く、高次元データでは安定である。
論文 参考訳(メタデータ) (2022-09-29T21:03:13Z) - Rethinking Clustering-Based Pseudo-Labeling for Unsupervised
Meta-Learning [146.11600461034746]
教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。
このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。
このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
論文 参考訳(メタデータ) (2022-09-27T19:04:36Z) - Meta Clustering Learning for Large-scale Unsupervised Person
Re-identification [124.54749810371986]
メタクラスタリング学習(MCL)と呼ばれる「大規模タスクのための小さなデータ」パラダイムを提案する。
MCLは、第1フェーズのトレーニングのためにコンピューティングを節約するためにクラスタリングを介して、未ラベルデータのサブセットを擬似ラベル付けするのみである。
提案手法は計算コストを大幅に削減すると同時に,従来よりも優れた性能を実現している。
論文 参考訳(メタデータ) (2021-11-19T04:10:18Z) - Riemannian classification of EEG signals with missing values [67.90148548467762]
本稿では脳波の分類に欠落したデータを扱うための2つの方法を提案する。
第1のアプローチでは、インプットされたデータと$k$-nearestの隣人アルゴリズムとの共分散を推定し、第2のアプローチでは、期待最大化アルゴリズム内で観測データの可能性を活用することにより、観測データに依存する。
その結果, 提案手法は観測データに基づく分類よりも優れており, 欠落したデータ比が増大しても高い精度を維持することができることがわかった。
論文 参考訳(メタデータ) (2021-10-19T14:24:50Z) - Deep Conditional Gaussian Mixture Model for Constrained Clustering [7.070883800886882]
制約付きクラスタリングは、部分的にラベル付けされたデータの増加量に関する事前情報を利用することができる。
本稿では、直感的で解釈可能で、勾配変動推論の枠組みで効率的に訓練できる制約付きクラスタリングのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-11T13:38:09Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z) - K-bMOM: a robust Lloyd-type clustering algorithm based on bootstrap
Median-of-Means [3.222802562733787]
本稿では,データセットの外れ値の存在に頑健な新しいクラスタリングアルゴリズムを提案する。
我々は、中央値統計のアイデアに基づいて、セントロイドを推定するが、ブロックを構築しながら置き換えることができる。
我々は,K-means歪に対する収束率の頑健さを導出することにより,敵の汚染に対する頑健さを証明した。
論文 参考訳(メタデータ) (2020-02-10T16:08:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。