論文の概要: Collision Cross-entropy for Soft Class Labels and Deep Clustering
- arxiv url: http://arxiv.org/abs/2303.07321v3
- Date: Mon, 27 Nov 2023 23:28:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 01:02:41.510076
- Title: Collision Cross-entropy for Soft Class Labels and Deep Clustering
- Title（参考訳）: ソフトクラスラベルの衝突クロスエントロピーとディープクラスタリング
- Authors: Zhongwen Zhang, Yuri Boykov
- Abstract要約: 我々は、シャノンのクロスエントロピー(CE)損失に対する頑健な代替手段として「衝突クロスエントロピー」を提案する。
ソフトラベルの場合、ShannonのCEはモデルの予測にトレーニングの例で不確実性を再現するように教えている。
シャノンと異なり、衝突CEはyとネットワーク予測に対称である。
- 参考スコア（独自算出の注目度）: 11.098191678397342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose "collision cross-entropy" as a robust alternative to Shannon's
cross-entropy (CE) loss when class labels are represented by soft categorical
distributions y. In general, soft labels can naturally represent ambiguous
targets in classification. They are particularly relevant for self-labeled
clustering methods, where latent pseudo-labels are jointly estimated with the
model parameters and uncertainty is prevalent. In case of soft labels,
Shannon's CE teaches the model predictions to reproduce the uncertainty in each
training example, which inhibits the model's ability to learn and generalize
from these examples. As an alternative loss, we propose the negative log of
"collision probability" that maximizes the chance of equality between two
random variables, predicted class and unknown true class. We show that it has
the properties of a generalized CE. The proposed collision CE agrees with
Shannon's CE for one-hot labels, but the training from soft labels differs. For
example, unlike Shannon's CE, data points where y is a uniform distribution
have zero contribution to the training. Collision CE significantly improves
classification supervised by soft uncertain targets. Unlike Shannon's,
collision CE is symmetric for y and network predictions, which is particularly
relevant when both distributions are estimated in the context of self-labeled
clustering. Focusing on discriminative deep clustering where self-labeling and
entropy-based losses are dominant, we show that the use of collision CE
improves the state-of-the-art. We also derive an efficient EM algorithm that
significantly speeds up the pseudo-label estimation with collision CE.
- Abstract（参考訳）: クラスラベルがソフトなカテゴリー分布yで表される場合,シャノンのクロスエントロピー(CE)損失に対する頑健な代替として「衝突クロスエントロピー」を提案する。
一般に、ソフトラベルは分類における曖昧な対象を自然に表すことができる。
特に自己ラベルクラスタリング手法には特に関係があり、潜在擬似ラベルはモデルパラメータと共同で推定され、不確実性が一般的である。
ソフトラベルの場合、ShannonのCEはモデル予測にトレーニング例ごとに不確実性を再現するように教え、モデルがこれらの例から学び、一般化する能力を阻害する。
代替的な損失として、予測クラスと未知真のクラスである2つの確率変数の等価性を最大化する「衝突確率」の負のログを提案する。
一般化された CE の性質を持つことを示す。
提案された衝突CEはシャノンのCEと1ホットラベルで一致しているが、ソフトラベルからのトレーニングが異なる。
例えば、シャノンのCEとは異なり、y が一様分布であるデータポイントはトレーニングへの寄与がゼロである。
衝突CEは、ソフト不確実な標的によって監督される分類を著しく改善する。
シャノンと異なり、衝突CEはyとネットワーク予測に対称であり、これらの分布が自己ラベルクラスタリングの文脈で推定されるときに特に関係がある。
自己ラベルとエントロピーに基づく損失が支配的な差別的深層クラスタリングに着目して,衝突CEの利用が最先端技術を改善することを示す。
また、衝突CEによる擬似ラベル推定を著しく高速化する効率的なEMアルゴリズムを導出する。
関連論文リスト
- Generating Unbiased Pseudo-labels via a Theoretically Guaranteed
Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。
本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。
チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
論文 参考訳（メタデータ） (2023-11-03T08:39:35Z) - Model Calibration in Dense Classification with Adaptive Label
Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。
本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。
ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文 参考訳（メタデータ） (2023-07-25T14:40:11Z) - Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label
Learning [97.88458953075205]
Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。
本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-04T12:52:18Z) - Dist-PU: Positive-Unlabeled Learning from a Label Distribution
Perspective [89.5370481649529]
本稿では,PU学習のためのラベル分布視点を提案する。
そこで本研究では,予測型と基底型のラベル分布間のラベル分布の整合性を追求する。
提案手法の有効性を3つのベンチマークデータセットで検証した。
論文 参考訳（メタデータ） (2022-12-06T07:38:29Z) - Optimizing Diffusion Rate and Label Reliability in a Graph-Based
Semi-supervised Classifier [2.4366811507669124]
Local and Global Consistency (LGC)アルゴリズムは、グラフベースの半教師付き半教師付き(GSSL)分類器の1つである。
ラベル付きインスタンスの自己影響を取り除くことは、どのように有用か、そして、それがアウト・ワン・アウトエラーにどのように関係するかについて議論する。
本研究では,ラベルの信頼性と拡散率を推定する手法を提案する。
論文 参考訳（メタデータ） (2022-01-10T16:58:52Z) - Multi-class Probabilistic Bounds for Self-learning [13.875239300089861]
Pseudo-labelingはエラーを起こしやすいため、ラベルなしのトレーニングデータにノイズのあるラベルを追加するリスクがある。
本稿では,多クラス分類シナリオにおける自己学習を部分的にラベル付きデータで分析する確率的枠組みを提案する。
論文 参考訳（メタデータ） (2021-09-29T13:57:37Z) - Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced
Semi-Supervised Learning [80.05441565830726]
本稿では,疑似ラベルの重み付けがモデル性能に悪影響を及ぼすような,不均衡な半教師付き学習に対処する。
本稿では,この観測の動機となるバイアスに対処する,一般的な擬似ラベルフレームワークを提案する。
不均衡SSLのための新しい擬似ラベルフレームワークを、DASO(Distributed-Aware Semantics-Oriented Pseudo-label)と呼ぶ。
論文 参考訳（メタデータ） (2021-06-10T11:58:25Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z) - Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive
Person Re-Identification [64.37745443119942]
本稿では,局所的なワンホット分類とグローバルなマルチクラス分類を組み合わせることで,視覚的・時間的整合性を両立させる。
3つの大規模ReIDデータセットの実験結果は、教師なしと教師なしの両方のドメイン適応型ReIDタスクにおいて提案手法の優位性を示す。
論文 参考訳（メタデータ） (2020-07-21T14:31:27Z) - A Distributionally Robust Approach to Fair Classification [17.759493152879013]
本研究では、性別や民族などのセンシティブな属性に対する差別を防止する不公平なペナルティを持つロジスティックなロジスティック回帰モデルを提案する。
このモデルは、トレーニングデータ上の経験的分布を中心とするワッサーシュタイン球が分布の不確かさのモデル化に使用される場合、トラクタブル凸最適化問題と等価である。
得られた分類器は, 合成データセットと実データセットの両方において, 予測精度の限界損失による公平性の向上を実証する。
論文 参考訳（メタデータ） (2020-07-18T22:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。