論文の概要: Comparing Classification and Feature Learning by Analyzing Their Loss Functions in Normalized Spaces with Different Scale Factors
- arxiv url: http://arxiv.org/abs/2611.07741v1
- Date: Thu, 05 Nov 2026 09:49:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.644335
- Title: Comparing Classification and Feature Learning by Analyzing Their Loss Functions in Normalized Spaces with Different Scale Factors
- Title（参考訳）: スケール要因の異なる正規化空間における損失関数の解析による分類と特徴学習の比較
- Abstract要約: 分類精度と特徴品質が,異なる大きさの空間でどのように変化するかを示す。
非常に大きな$は完全な分類精度を達成するが、理想的な特徴幾何学へ収束する。
非常に小さな$は、小さな摂動に非常に敏感に分類する。
- 参考スコア（独自算出の注目度）: 42.984871802379
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classification and feature learning are two closely interrelated fundamental tasks. Feature learning in supervised settings is typically achieved by training classification models, under the common assumption that higher classification accuracy implies better feature quality. In this paper, we first point out that classification accuracy reflects the sample-wise local properties of a model on a dataset, whereas feature learning aims to learn features with good dataset-level global properties, such as intra-class compactness and inter-class separability. From the first principle of feature learning, we redesign the binary cross-entropy (BCE) loss, a counterpart of the cross-entropy (CE) loss used in classification. Then, in normalized feature space, we analyze the minima of the BCE and CE losses and show that both can lead to neural collapse, where sample features from different classes become maximally compact and maximally separated. More importantly, by investigating the convergence behaviors of the two losses as the scale factor $γ$ varies in the normalized space, we reveal how classification accuracy and feature quality change differently across spaces of different sizes. Under a fixed training strategy, a very large $γ$ achieves perfect classification accuracy but slows convergence toward the ideal feature geometry, whereas a very small $γ$ makes classification highly sensitive to small perturbations. A moderate $γ$ is therefore necessary for simultaneously achieving reliable classification and well-structured features. Extensive experiments validate these findings and demonstrate that BCE loss exhibits advantages in long-tail and open-set recognitions, as it better aligns with the global requirements of feature learning.
- Abstract（参考訳）: 分類と特徴学習は密接に関連する2つの基本課題である。
教師付き設定における特徴学習は、通常、より高い分類精度がより良い特徴品質を意味するという一般的な仮定の下で、分類モデルの訓練によって達成される。
本稿では,分類精度がデータセット上のモデルの標本的局所特性を反映しているのに対し,特徴学習は,クラス内コンパクト性やクラス間分離性といった,優れたデータセットレベルのグローバル特性を持つ特徴を学習することを目的としている。
特徴学習の第一原理から,二進的クロスエントロピー(BCE)の損失を分類に用いたクロスエントロピー(CE)の損失に対して再検討した。
そして、正規化された特徴空間において、BCEとCEの損失の最小値を分析し、両者が神経崩壊を引き起こすことを示す。
より重要なことは、スケール係数$γ$が正規化空間で変化するときの2つの損失の収束挙動を調べることで、分類精度と特徴品質が異なる大きさの空間でどのように異なるかを明らかにすることである。
固定的なトレーニング戦略の下では、非常に大きな$γ$は完全な分類精度を達成するが、理想的な特徴幾何学への収束を遅らせる一方、非常に小さな$γ$は、小さな摂動に非常に敏感に分類する。
したがって、信頼できる分類とよく構造化された特徴を同時に達成するためには、適度な$γ$が必要である。
大規模な実験はこれらの知見を検証し、BCEの損失が長尾およびオープンセットの認識において利点を示すことを示した。
関連論文リスト
- Reducing Class-Wise Performance Disparity via Margin Regularization [82.81746960548382]
ディープニューラルネットワークは、クラスバランスのデータでトレーニングされた場合でも、クラスレベルでの精度において大きな違いを示すことが多い。
本稿では,性能格差低減のためのMargin Regularization for Performance Disparity Reduction (MR$2$)を提案する。
分析の結果,クラスごとの機能変動がエラーにどのように寄与するかが明らかとなり,ハードクラスに対するより大きなマージンの利用が動機となった。
論文 参考訳（メタデータ） (2026-01-30T12:56:08Z) - Improving Long-Tailed Object Detection with Balanced Group Softmax and Metric Learning [0.0]
LVISv1データセットを用いた長期2次元物体検出の課題に対処する。
我々は、より高速なR-CNNアーキテクチャを2段階採用し、Balanced Group Softmaxフレームワークの拡張を提案する。
提案手法は,従来の24.0%のベンチマークを上回り,平均平均精度(mAP)が24.5%の新たな最先端性能を実現する。
論文 参考訳（メタデータ） (2025-09-02T00:38:13Z) - On the Geometry of Receiver Operating Characteristic and Precision-Recall Curves [1.6790915329706384]
二項分類問題における受信者動作特性(ROC)と高精度リコール曲線(PR)の幾何学について検討する。
鍵となる発見は、最もよく使われるバイナリ分類のメトリクスの多くは、単に合成関数 $G := F_p circ F_n-1$ の関数であるということである。
論文 参考訳（メタデータ） (2025-04-02T23:04:28Z) - Latent Enhancing AutoEncoder for Occluded Image Classification [2.6217304977339473]
LEARN: Latent Enhancing feature Reconstruction Networkを紹介する。
オートエンコーダベースのネットワークで、頭の前に分類モデルに組み込むことができる。
OccludedPASCAL3D+データセットでは、提案されたLEARNが標準分類モデルより優れている。
論文 参考訳（メタデータ） (2024-02-10T12:22:31Z) - DiGeo: Discriminative Geometry-Aware Learning for Generalized Few-Shot
Object Detection [39.937724871284665]
汎用的な少ショットオブジェクト検出は、豊富なアノテーションと限られたトレーニングデータを持つ新しいクラスで、両方のベースクラス上で正確な検出を実現することを目的としている。
既存のアプローチは、ベースクラスのパフォーマンスを犠牲にして、数ショットの一般化を促進する。
クラス間分離とクラス内コンパクト性の幾何学的特徴を学習するための新しいトレーニングフレームワークDiGeoを提案する。
論文 参考訳（メタデータ） (2023-03-16T22:37:09Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。
まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。
第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
論文 参考訳（メタデータ） (2021-08-29T05:45:03Z) - ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image
Classification [49.87503122462432]
ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。
本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。
4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
論文 参考訳（メタデータ） (2020-06-27T13:50:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。