論文の概要: BCE vs. CE in Deep Feature Learning

• arxiv url: http://arxiv.org/abs/2505.05813v1
• Date: Fri, 09 May 2025 06:18:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.172127
• Title: BCE vs. CE in Deep Feature Learning
• Title（参考訳）: 深層機能学習におけるBCE vs. CE
• Authors: Qiufu Li, Huibin Xiao, Linlin Shen,
• Abstract要約: 深層特徴学習において,バイナリCE (BCE) とクロスエントロピー (CE) を比較した。 また、BCEはクラス内コンパクト性とクラス間特異性を最大化することができる。 BCEは、決定スコアの絶対値を測定し、全サンプルの正/負の判定スコアを均一に高い/低いレベルに調整する。
• 参考スコア（独自算出の注目度）: 33.24161955363104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When training classification models, it expects that the learned features are compact within classes, and can well separate different classes. As the dominant loss function for training classification models, minimizing cross-entropy (CE) loss maximizes the compactness and distinctiveness, i.e., reaching neural collapse (NC). The recent works show that binary CE (BCE) performs also well in multi-class tasks. In this paper, we compare BCE and CE in deep feature learning. For the first time, we prove that BCE can also maximize the intra-class compactness and inter-class distinctiveness when reaching its minimum, i.e., leading to NC. We point out that CE measures the relative values of decision scores in the model training, implicitly enhancing the feature properties by classifying samples one-by-one. In contrast, BCE measures the absolute values of decision scores and adjust the positive/negative decision scores across all samples to uniformly high/low levels. Meanwhile, the classifier biases in BCE present a substantial constraint on the decision scores to explicitly enhance the feature properties in the training. The experimental results are aligned with above analysis, and show that BCE could improve the classification and leads to better compactness and distinctiveness among sample features. The codes will be released.
• Abstract（参考訳）: 分類モデルをトレーニングする場合、学習された機能はクラス内でコンパクトであり、クラスを適切に分離できると期待されている。 トレーニング分類モデルにおける支配的損失関数として、クロスエントロピー(CE)損失を最小化することは、コンパクト性と特異性、すなわち、神経崩壊(NC)に達することを最大化する。 最近の研究は、バイナリCE(BCE)がマルチクラスタスクでもうまく機能していることを示している。 本稿では,深層機能学習におけるBCEとCEを比較した。 初めて、BCEは最小値に達する際にクラス内コンパクト性とクラス間特異性を最大化できる、すなわちNCにつながることを証明した。 CEはモデルトレーニングにおける意思決定スコアの相対値を測定し、サンプルを1つずつ分類することで特徴特性を暗黙的に向上させる。 対照的に、BCEは決定スコアの絶対値を測定し、全サンプルの正/負の判定スコアを均一に高い/低いレベルに調整する。 一方、BCEの分類器バイアスは、トレーニングにおける特徴特性を明確にするために、決定スコアに実質的な制約を与える。 実験結果は上記の分析と一致し、BCEは分類を改善し、試料の特徴のコンパクト性や特異性を向上できることを示した。 コードはリリースされます。

関連論文リスト

• Rediscovering BCE Loss for Uniform Classification [35.66000285310775]
  本稿では,全サンプルの分類に統一しきい値を用いた一様分類の概念を紹介する。 本研究では,一様分類におけるモデルの性能を測定する指標として,一様分類精度を提案する。
  論文  参考訳（メタデータ） (2024-03-12T03:44:40Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Orthogonal Projection Loss [59.61277381836491]
  直交射影損失(OPL)と呼ばれる新しい損失関数を開発する。 OPLは、機能空間におけるクラス内クラスタリングとクラス間分離を直接実施する。 OPLは、慎重な負のマイニングを必要とせず、バッチサイズに敏感であるため、ユニークな利点がある。
  論文  参考訳（メタデータ） (2021-03-25T17:58:00Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。