論文の概要: Collision Cross-entropy and EM Algorithm for Self-labeled Classification
- arxiv url: http://arxiv.org/abs/2303.07321v1
- Date: Mon, 13 Mar 2023 17:42:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 13:38:23.492948
- Title: Collision Cross-entropy and EM Algorithm for Self-labeled Classification
- Title（参考訳）: 自己ラベル分類のための衝突クロスエントロピーとEMアルゴリズム
- Authors: Zhongwen Zhang, Yuri Boykov
- Abstract要約: 後続モデルを用いた自己ラベル付き分類の文脈において、シャノンのクロスエントロピーの頑健な代替案を提案する。
我々の自己ラベル損失は、衝突クロスエントロピーと基本的なクラスタリング基準を組み合わせる。
擬似ラベルyを汎用手法よりもはるかに高速に最適化する実用的なEMアルゴリズムを導出する。
- 参考スコア（独自算出の注目度）: 12.290373155542335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose "collision cross-entropy" as a robust alternative to the Shannon's
cross-entropy in the context of self-labeled classification with posterior
models. Assuming unlabeled data, self-labeling works by estimating latent
pseudo-labels, categorical distributions y, that optimize some discriminative
clustering criteria, e.g. "decisiveness" and "fairness". All existing
self-labeled losses incorporate Shannon's cross-entropy term targeting the
model prediction, softmax, at the estimated distribution y. In fact, softmax is
trained to mimic the uncertainty in y exactly. Instead, we propose the negative
log-likelihood of "collision" to maximize the probability of equality between
two random variables represented by distributions softmax and y. We show that
our loss satisfies some properties of a generalized cross-entropy.
Interestingly, it agrees with the Shannon's cross-entropy for one-hot
pseudo-labels y, but the training from softer labels weakens. For example, if y
is a uniform distribution at some data point, it has zero contribution to the
training. Our self-labeling loss combining collision cross entropy with basic
clustering criteria is convex w.r.t. pseudo-labels, but non-trivial to optimize
over the probability simplex. We derive a practical EM algorithm optimizing
pseudo-labels y significantly faster than generic methods, e.g. the projectile
gradient descent. The collision cross-entropy consistently improves the results
on multiple self-labeled clustering examples using different DNNs.
- Abstract（参考訳）: 後方モデルを用いた自己ラベル分類の文脈において、シャノンのクロスエントロピーに代わるロバストな選択肢として「コリシオンクロスエントロピー」を提案する。
ラベルのないデータを仮定すると、自己ラベルは潜在的な擬似ラベル、カテゴリー分布 y を推定し、「決定性」や「フェアネス」のような差別的クラスタリング基準を最適化する。
既存の自己ラベル付き損失は全て、推定分布yにおけるモデル予測、ソフトマックスを対象とするシャノンのクロスエントロピー項を含む。
実際、ソフトマックスはyの不確かさを正確に模倣するように訓練されている。
代わりに、ソフトマックスとyの分布で表される2つの確率変数の等しい確率を最大化する「衝突」の負の対数類似性を提案する。
我々の損失は、一般化されたクロスエントロピーのいくつかの性質を満たす。
興味深いことに、1つのホットな擬似ラベルyに対するシャノンのクロスエントロピーと一致するが、よりソフトなラベルからのトレーニングは弱まる。
例えば、あるデータポイントにおけるyが一様分布であれば、トレーニングへの寄与はゼロである。
衝突クロスエントロピーと基本的なクラスタリング基準を組み合わせた自己ラベル損失は凸 w.r.t. 擬似ラベルであるが、確率単純性の最適化には非自明である。
擬似ラベルyをジェネリック法よりも大幅に高速に最適化する実用的なEMアルゴリズムを導出する。
衝突クロスエントロピーは、異なるdnnを用いた複数の自己ラベルクラスタリング例の結果を一貫して改善する。
関連論文リスト
- Generating Unbiased Pseudo-labels via a Theoretically Guaranteed
Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。
本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。
チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
論文 参考訳（メタデータ） (2023-11-03T08:39:35Z) - Model Calibration in Dense Classification with Adaptive Label
Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。
本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。
ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文 参考訳（メタデータ） (2023-07-25T14:40:11Z) - Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label
Learning [97.88458953075205]
Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。
本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-04T12:52:18Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳（メタデータ） (2022-12-06T07:38:29Z) - Optimizing Diffusion Rate and Label Reliability in a Graph-Based
Semi-supervised Classifier [2.4366811507669124]
Local and Global Consistency (LGC)アルゴリズムは、グラフベースの半教師付き半教師付き(GSSL)分類器の1つである。
ラベル付きインスタンスの自己影響を取り除くことは、どのように有用か、そして、それがアウト・ワン・アウトエラーにどのように関係するかについて議論する。
本研究では,ラベルの信頼性と拡散率を推定する手法を提案する。
論文 参考訳（メタデータ） (2022-01-10T16:58:52Z) - Multi-class Probabilistic Bounds for Self-learning [13.875239300089861]
Pseudo-labelingはエラーを起こしやすいため、ラベルなしのトレーニングデータにノイズのあるラベルを追加するリスクがある。
本稿では,多クラス分類シナリオにおける自己学習を部分的にラベル付きデータで分析する確率的枠組みを提案する。
論文 参考訳（メタデータ） (2021-09-29T13:57:37Z) - Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced
Semi-Supervised Learning [80.05441565830726]
本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。
本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。
不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
論文 参考訳（メタデータ） (2021-06-10T11:58:25Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z) - Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive
Person Re-Identification [64.37745443119942]
本稿では,局所的なワンホット分類とグローバルなマルチクラス分類を組み合わせることで,視覚的・時間的整合性を両立させる。
3つの大規模ReIDデータセットの実験結果は、教師なしと教師なしの両方のドメイン適応型ReIDタスクにおいて提案手法の優位性を示す。
論文 参考訳（メタデータ） (2020-07-21T14:31:27Z) - A Distributionally Robust Approach to Fair Classification [17.759493152879013]
本研究では、性別や民族などのセンシティブな属性に対する差別を防止する不公平なペナルティを持つロジスティックなロジスティック回帰モデルを提案する。
このモデルは、トレーニングデータ上の経験的分布を中心とするワッサーシュタイン球が分布の不確かさのモデル化に使用される場合、トラクタブル凸最適化問題と等価である。
得られた分類器は, 合成データセットと実データセットの両方において, 予測精度の限界損失による公平性の向上を実証する。
論文 参考訳（メタデータ） (2020-07-18T22:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。