論文の概要: Discriminative Entropy Clustering and its Relation to K-means and SVM
- arxiv url: http://arxiv.org/abs/2301.11405v2
- Date: Tue, 23 May 2023 21:25:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 02:23:00.945060
- Title: Discriminative Entropy Clustering and its Relation to K-means and SVM
- Title(参考訳): 識別エントロピークラスタリングとk-meansおよびsvmとの関係
- Authors: Zhongwen Zhang, Yuri Boykov
- Abstract要約: 教師なしエントロピーに基づく損失に基づく最近の自己ラベル手法は、ディープクラスタリングにおける技術の現状を表している。
SVMベースのクラスタリングと類似性を示し、明示的なマージンとエントロピークラスタリングをリンクできるようにします。
我々の新しい損失はこの問題に対処し、多くの標準ベンチマークにおける技術状況を改善する新しいEMアルゴリズムに繋がる。
- 参考スコア(独自算出の注目度): 12.290373155542335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Maximization of mutual information between the model's input and output is
formally related to "decisiveness" and "fairness" of the softmax predictions,
motivating such unsupervised entropy-based losses for discriminative models.
Recent self-labeling methods based on such losses represent the state of the
art in deep clustering. First, we discuss a number of general properties of
such entropy clustering methods, including their relation to K-means and
unsupervised SVM-based techniques. Disproving some earlier published claims, we
point out fundamental differences with K-means. On the other hand, we show
similarity with SVM-based clustering allowing us to link explicit margin
maximization to entropy clustering. Finally, we observe that the common form of
cross-entropy is not robust to pseudo-label errors. Our new loss addresses the
problem and leads to a new EM algorithm improving the state of the art on many
standard benchmarks.
- Abstract(参考訳): モデル入力と出力間の相互情報の最大化は、識別モデルに対する教師なしエントロピーに基づく損失を動機付けるソフトマックス予測の「決定性」と「フェアネス」に関係している。
このような損失に基づく最近の自己ラベル手法は、ディープクラスタリングにおける技術の現状を表している。
まず,k-平均との関係や教師なしsvmに基づく手法など,エントロピークラスタリングの一般的な性質について考察する。
先に公表されたいくつかの主張を否定し、K-平均と根本的な違いを指摘する。
一方、SVMベースのクラスタリングと類似性を示し、明示的なマージン最大化をエントロピークラスタリングにリンクすることができる。
最後に、クロスエントロピーの共通形式は擬似ラベル誤りに対して堅牢ではないことを観察する。
我々の新しい損失はこの問題に対処し、多くの標準ベンチマークにおける技術状況を改善する新しいEMアルゴリズムにつながる。
関連論文リスト
- Unfolding ADMM for Enhanced Subspace Clustering of Hyperspectral Images [43.152314090830174]
本稿では,スパースサブスペースクラスタリングのためのマルチプライヤの交互方向法(ADMM)に基づく反復解法を展開させることにより,ハイパースペクトル画像(HSI)のための革新的なクラスタリングアーキテクチャを提案する。
提案手法は, 構造保存モジュールの一部として, K近傍近傍のアルゴリズムを用いて, HSIデータの構造特性をよく把握する。
論文 参考訳(メタデータ) (2024-04-10T15:51:46Z) - FEMDA: a unified framework for discriminant analysis [4.6040036610482655]
非ガウスデータセットを扱うための新しいアプローチを提案する。
考慮されているモデルは、任意のスケールパラメータを持つクラスタ毎の任意の対称性(ES)分布である。
新しい決定規則を導出することにより,最大値のパラメータ推定と分類が,最先端手法と比較してシンプルで効率的で堅牢であることを示す。
論文 参考訳(メタデータ) (2023-11-13T17:59:37Z) - Rethinking k-means from manifold learning perspective [122.38667613245151]
平均推定なしで直接データのクラスタを検出する新しいクラスタリングアルゴリズムを提案する。
具体的には,バタワースフィルタを用いてデータ点間の距離行列を構成する。
異なる視点に埋め込まれた相補的な情報をうまく活用するために、テンソルのSchatten p-norm正規化を利用する。
論文 参考訳(メタデータ) (2023-05-12T03:01:41Z) - Multi-View Clustering via Semi-non-negative Tensor Factorization [120.87318230985653]
半負のテンソル因子分解(Semi-NTF)に基づく新しいマルチビュークラスタリングを開発する。
本モデルは、ビュー間の関係を直接考慮し、ビュー間の補完情報を利用する。
さらに,提案手法の最適化アルゴリズムを提案し,そのアルゴリズムが常に定常KKT点に収束することを数学的に証明する。
論文 参考訳(メタデータ) (2023-03-29T14:54:19Z) - Rethinking Clustering-Based Pseudo-Labeling for Unsupervised
Meta-Learning [146.11600461034746]
教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。
このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。
このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
論文 参考訳(メタデータ) (2022-09-27T19:04:36Z) - Meta Clustering Learning for Large-scale Unsupervised Person
Re-identification [124.54749810371986]
メタクラスタリング学習(MCL)と呼ばれる「大規模タスクのための小さなデータ」パラダイムを提案する。
MCLは、第1フェーズのトレーニングのためにコンピューティングを節約するためにクラスタリングを介して、未ラベルデータのサブセットを擬似ラベル付けするのみである。
提案手法は計算コストを大幅に削減すると同時に,従来よりも優れた性能を実現している。
論文 参考訳(メタデータ) (2021-11-19T04:10:18Z) - Riemannian classification of EEG signals with missing values [67.90148548467762]
本稿では脳波の分類に欠落したデータを扱うための2つの方法を提案する。
第1のアプローチでは、インプットされたデータと$k$-nearestの隣人アルゴリズムとの共分散を推定し、第2のアプローチでは、期待最大化アルゴリズム内で観測データの可能性を活用することにより、観測データに依存する。
その結果, 提案手法は観測データに基づく分類よりも優れており, 欠落したデータ比が増大しても高い精度を維持することができることがわかった。
論文 参考訳(メタデータ) (2021-10-19T14:24:50Z) - Deep Conditional Gaussian Mixture Model for Constrained Clustering [7.070883800886882]
制約付きクラスタリングは、部分的にラベル付けされたデータの増加量に関する事前情報を利用することができる。
本稿では、直感的で解釈可能で、勾配変動推論の枠組みで効率的に訓練できる制約付きクラスタリングのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-11T13:38:09Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z) - K-bMOM: a robust Lloyd-type clustering algorithm based on bootstrap
Median-of-Means [3.222802562733787]
本稿では,データセットの外れ値の存在に頑健な新しいクラスタリングアルゴリズムを提案する。
我々は、中央値統計のアイデアに基づいて、セントロイドを推定するが、ブロックを構築しながら置き換えることができる。
我々は,K-means歪に対する収束率の頑健さを導出することにより,敵の汚染に対する頑健さを証明した。
論文 参考訳(メタデータ) (2020-02-10T16:08:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。