Fugu-MT 論文翻訳(概要): BCE vs. CE in Deep Feature Learning

論文の概要: BCE vs. CE in Deep Feature Learning

arxiv url: http://arxiv.org/abs/2505.05813v1
Date: Fri, 09 May 2025 06:18:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-12 20:40:10.172127
Title: BCE vs. CE in Deep Feature Learning
Title（参考訳）: 深層機能学習におけるBCE vs. CE
Authors: Qiufu Li, Huibin Xiao, Linlin Shen,
Abstract要約: 深層特徴学習において,バイナリCE (BCE) とクロスエントロピー (CE) を比較した。また、BCEはクラス内コンパクト性とクラス間特異性を最大化することができる。 BCEは、決定スコアの絶対値を測定し、全サンプルの正/負の判定スコアを均一に高い/低いレベルに調整する。
参考スコア（独自算出の注目度）: 33.24161955363104
License: http://creativecommons.org/licenses/by/4.0/
Abstract: When training classification models, it expects that the learned features are compact within classes, and can well separate different classes. As the dominant loss function for training classification models, minimizing cross-entropy (CE) loss maximizes the compactness and distinctiveness, i.e., reaching neural collapse (NC). The recent works show that binary CE (BCE) performs also well in multi-class tasks. In this paper, we compare BCE and CE in deep feature learning. For the first time, we prove that BCE can also maximize the intra-class compactness and inter-class distinctiveness when reaching its minimum, i.e., leading to NC. We point out that CE measures the relative values of decision scores in the model training, implicitly enhancing the feature properties by classifying samples one-by-one. In contrast, BCE measures the absolute values of decision scores and adjust the positive/negative decision scores across all samples to uniformly high/low levels. Meanwhile, the classifier biases in BCE present a substantial constraint on the decision scores to explicitly enhance the feature properties in the training. The experimental results are aligned with above analysis, and show that BCE could improve the classification and leads to better compactness and distinctiveness among sample features. The codes will be released.
Abstract（参考訳）: 分類モデルをトレーニングする場合、学習された機能はクラス内でコンパクトであり、クラスを適切に分離できると期待されている。トレーニング分類モデルにおける支配的損失関数として、クロスエントロピー(CE)損失を最小化することは、コンパクト性と特異性、すなわち、神経崩壊(NC)に達することを最大化する。最近の研究は、バイナリCE(BCE)がマルチクラスタスクでもうまく機能していることを示している。本稿では,深層機能学習におけるBCEとCEを比較した。初めて、BCEは最小値に達する際にクラス内コンパクト性とクラス間特異性を最大化できる、すなわちNCにつながることを証明した。 CEはモデルトレーニングにおける意思決定スコアの相対値を測定し、サンプルを1つずつ分類することで特徴特性を暗黙的に向上させる。対照的に、BCEは決定スコアの絶対値を測定し、全サンプルの正/負の判定スコアを均一に高い/低いレベルに調整する。一方、BCEの分類器バイアスは、トレーニングにおける特徴特性を明確にするために、決定スコアに実質的な制約を与える。実験結果は上記の分析と一致し、BCEは分類を改善し、試料の特徴のコンパクト性や特異性を向上できることを示した。コードはリリースされます。

関連論文リスト

Self-Classification Enhancement and Correction for Weakly Supervised Object Detection [113.51483527300496]
弱い監督対象検出(WSOD)は、ラベル付けコストの低いため、多くの注目を集めている。本稿では,この2つの問題を改善するための新しいWSODフレームワークを紹介する。まず,2つの異なるMCCタスク間のギャップを埋めるために,クラス内バイナリ分類(ICBC)を統合した自己分類拡張モジュールを提案する。また,2つのMCCタスクの結果を組み合わせて,誤分類予測を効果的に削減する自己分類補正アルゴリズムを提案する。
論文参考訳（メタデータ） (2025-05-22T06:45:58Z)
Class Distance Weighted Cross Entropy Loss for Classification of Disease Severity [2.7574609288882312]
新たな損失関数であるクラス距離重み付きクロスエントロピー(CDW-CE)を提案する。これは、予測されたクラスと実際のクラスが遠く離れているときに、誤分類をより厳しく罰する。以上の結果から,CDW-CEは日常的な画像分類タスクの性能を一貫して向上させることがわかった。
論文参考訳（メタデータ） (2024-12-02T08:06:14Z)
A Theoretical Analysis of Recommendation Loss Functions under Negative Sampling [13.180345241212423]
CCE(Categorical Cross Entropy)、BCE(Binary Cross Entropy)、BPR(Bayesian Personalized Ranking)といった損失関数は、レコメンダシステム(Recommender Systems、RS)において、ユーザによって対話されるポジティブな項目とネガティブな項目を区別するために一般的に使用されている。我々は、CCEが正規化カウント累積ゲイン(NDCG)や平均相反ランク(MRR)のようなランキングの指標に最も厳しい下限を提供することを示す。負のサンプリングでは、BPRとCCEは1つの負のサンプルが引かれるときに等価であり、3つの損失はすべて同じ大域最小値に収束する。
論文参考訳（メタデータ） (2024-11-12T13:06:16Z)
Rediscovering BCE Loss for Uniform Classification [35.66000285310775]
本稿では,全サンプルの分類に統一しきい値を用いた一様分類の概念を紹介する。本研究では,一様分類におけるモデルの性能を測定する指標として,一様分類精度を提案する。
論文参考訳（メタデータ） (2024-03-12T03:44:40Z)
Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
論文参考訳（メタデータ） (2023-12-07T18:37:43Z)
Center Contrastive Loss for Metric Learning [8.433000039153407]
本稿では,Central Contrastive Lossと呼ばれる新しいメトリック学習機能を提案する。クラスワイド・センタ・バンクを維持し、コントラッシブ・ロスを用いてカテゴリセンターとクエリデータポイントを比較している。提案した損失は、対比法と分類法の両方の利点を組み合わせたものである。
論文参考訳（メタデータ） (2023-08-01T11:22:51Z)
CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2023-02-02T04:27:54Z)
You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
論文参考訳（メタデータ） (2021-12-11T11:44:09Z)
Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文参考訳（メタデータ） (2021-10-24T10:23:51Z)
Orthogonal Projection Loss [59.61277381836491]
直交射影損失(OPL)と呼ばれる新しい損失関数を開発する。 OPLは、機能空間におけるクラス内クラスタリングとクラス間分離を直接実施する。 OPLは、慎重な負のマイニングを必要とせず、バッチサイズに敏感であるため、ユニークな利点がある。
論文参考訳（メタデータ） (2021-03-25T17:58:00Z)
Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
論文参考訳（メタデータ） (2020-04-01T19:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。