論文の概要: A Softmax-free Loss Function Based on Predefined Optimal-distribution of
Latent Features for CNN Classifier
- arxiv url: http://arxiv.org/abs/2111.15449v1
- Date: Thu, 25 Nov 2021 06:01:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-06 01:19:14.973362
- Title: A Softmax-free Loss Function Based on Predefined Optimal-distribution of
Latent Features for CNN Classifier
- Title（参考訳）: cnn分類器の潜在特徴の最適分布に基づくソフトマックスフリー損失関数
- Authors: Qiuyu Zhu, Xuewen Zu
- Abstract要約: 本稿では,事前定義された潜在特徴の最適分布に基づくソフトマックスフリー損失関数(POD損失関数)を提案する。
損失関数は、サンプルの潜伏特徴ベクトルと予め定義された等分散クラスの中心との間の余弦距離を含む、サンプルの潜伏特徴のみを制限する。
一般的に使用されているSoftmax Lossや、一般的なSoftmax関連AM-Softmax Loss、COT-Loss、PEDCC-Lossと比較すると、典型的なネットワーク上のいくつかの一般的なデータセットの実験は、POD Lossが常により良く、より収束しやすいことを示している。
- 参考スコア（独自算出の注目度）: 4.7210697296108926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the field of pattern classification, the training of convolutional neural
network classifiers is mostly end-to-end learning, and the loss function is the
constraint on the final output (posterior probability) of the network, so the
existence of Softmax is essential. In the case of end-to-end learning, there is
usually no effective loss function that completely relies on the features of
the middle layer to restrict learning, resulting in the distribution of sample
latent features is not optimal, so there is still room for improvement in
classification accuracy. Based on the concept of Predefined Evenly-Distributed
Class Centroids (PEDCC), this article proposes a Softmax-free loss function
(POD Loss) based on predefined optimal-distribution of latent features. The
loss function only restricts the latent features of the samples, including the
cosine distance between the latent feature vector of the sample and the center
of the predefined evenly-distributed class, and the correlation between the
latent features of the samples. Finally, cosine distance is used for
classification. Compared with the commonly used Softmax Loss and the typical
Softmax related AM-Softmax Loss, COT-Loss and PEDCC-Loss, experiments on
several commonly used datasets on a typical network show that the
classification performance of POD Loss is always better and easier to converge.
Code is available in https://github.com/TianYuZu/POD-Loss.
- Abstract（参考訳）: パターン分類の分野では、畳み込みニューラルネットワーク分類器の訓練は主にエンドツーエンドの学習であり、損失関数はネットワークの最終出力(後続確率)の制約であるので、Softmaxの存在は不可欠である。
エンド・ツー・エンド・ラーニングの場合、学習を制限するために中間層の特徴に完全に依存する効果的な損失関数は存在しないため、サンプル潜在特徴の分布が最適ではないため、分類精度の改善の余地は依然として残っている。
本稿では,PEDCC (Predefined Evenly-Distributed Class Centroids) の概念に基づいて,潜在特徴の最適分布に基づくソフトマックスフリー損失関数 (POD Loss) を提案する。
損失関数は、サンプルの潜時特徴ベクトルと予め定義された等分散クラスの中心との間の余弦距離と、サンプルの潜時特徴との相関を含む、サンプルの潜時特徴のみを制限する。
最後に、コサイン距離を分類に使用する。
一般的に使用されているSoftmax Lossや、一般的なSoftmax関連AM-Softmax Loss、COT-Loss、PEDCC-Lossと比較すると、典型的なネットワーク上のいくつかの一般的なデータセットの実験は、POD Lossの分類性能が常により良く、収束しやすいことを示している。
コードはhttps://github.com/TianYuZu/POD-Lossで入手できる。
関連論文リスト
- Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax
Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes [7.433327915285969]
我々は,ロジスティック損失に基づいて学習した広帯域および深部ReLUニューラルネットワーク分類器の普遍的整合性を証明する。
また、ニューラルネットワークに基づく分類器が最小収束率を達成できる確率尺度のクラスに対して十分な条件を与える。
論文 参考訳（メタデータ） (2024-01-08T23:54:46Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - A two-head loss function for deep Average-K classification [8.189630642296416]
本稿では,従来のソフトマックスに加えて,複数ラベルの分類に基づく新たな損失関数を提案する。
このアプローチによって、モデルがクラス間のあいまいさをよりよく捉え、結果として、より一貫性のあるクラスのセットを返すことができることを示す。
論文 参考訳（メタデータ） (2023-03-31T15:04:53Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。
既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。
そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
論文 参考訳（メタデータ） (2023-02-03T02:57:18Z) - Maximally Compact and Separated Features with Regular Polytope Networks [22.376196701232388]
本稿では, CNN から抽出する方法として, クラス間分離性とクラス間圧縮性の特性について述べる。
我々は、よく知られた citewen2016discriminative や他の類似したアプローチで得られる特徴と類似した特徴を得る。
論文 参考訳（メタデータ） (2023-01-15T15:20:57Z) - Distinction Maximization Loss: Efficiently Improving Classification
Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply
Replacing the Loss and Calibrating [2.262407399039118]
我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。
DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
論文 参考訳（メタデータ） (2022-05-12T04:37:35Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - Frequency-aware Discriminative Feature Learning Supervised by
Single-Center Loss for Face Forgery Detection [89.43987367139724]
顔の偽造検出は、コンピュータビジョンへの関心をますます高めている。
近年の業績は良好なものとなっているが、いまだに無視できない問題がある。
本稿では,新しい周波数認識型特徴学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-16T14:17:17Z) - Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit [47.324627920761685]
我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
論文 参考訳（メタデータ） (2020-10-14T18:41:54Z) - $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using
Sigmoidal Functions [0.9569316316728905]
我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。
我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
論文 参考訳（メタデータ） (2020-09-18T12:34:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。