論文の概要: Multi-stage feature decorrelation constraints for improving CNN classification performance

• arxiv url: http://arxiv.org/abs/2308.12880v1
• Date: Thu, 24 Aug 2023 16:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 13:26:29.525854
• Title: Multi-stage feature decorrelation constraints for improving CNN classification performance
• Title（参考訳）: CNN分類性能向上のための多段階特徴デコレーション制約
• Authors: Qiuyu Zhu and Xuewen Zu and Chengfei Liu
• Abstract要約: 本稿では,CNNのためのマルチステージ機能劣化損失(MFD Loss)を提案する。 MFDロスは有効な特徴を洗練し、全ての段階における特徴の相関を制限することによって情報の冗長性をなくす。 単一のSoftmax Loss教師付き学習と比較して、いくつかの典型的なCNNでよく使われるデータセットの実験は、Softmax Loss+MFD Lossの分類性能が著しく優れていることを証明している。
• 参考スコア（独自算出の注目度）: 11.020450096662536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For the convolutional neural network (CNN) used for pattern classification, the training loss function is usually applied to the final output of the network, except for some regularization constraints on the network parameters. However, with the increasing of the number of network layers, the influence of the loss function on the network front layers gradually decreases, and the network parameters tend to fall into local optimization. At the same time, it is found that the trained network has significant information redundancy at all stages of features, which reduces the effectiveness of feature mapping at all stages and is not conducive to the change of the subsequent parameters of the network in the direction of optimality. Therefore, it is possible to obtain a more optimized solution of the network and further improve the classification accuracy of the network by designing a loss function for restraining the front stage features and eliminating the information redundancy of the front stage features .For CNN, this article proposes a multi-stage feature decorrelation loss (MFD Loss), which refines effective features and eliminates information redundancy by constraining the correlation of features at all stages. Considering that there are many layers in CNN, through experimental comparison and analysis, MFD Loss acts on multiple front layers of CNN, constrains the output features of each layer and each channel, and performs supervision training jointly with classification loss function during network training. Compared with the single Softmax Loss supervised learning, the experiments on several commonly used datasets on several typical CNNs prove that the classification performance of Softmax Loss+MFD Loss is significantly better. Meanwhile, the comparison experiments before and after the combination of MFD Loss and some other typical loss functions verify its good universality.
• Abstract（参考訳）: パターン分類に使用される畳み込みニューラルネットワーク(CNN)では、トレーニング損失関数は通常、ネットワークパラメータの正規化制約を除いて、ネットワークの最終出力に適用される。 しかし,ネットワーク層数の増加に伴い,ネットワークフロント層に対する損失関数の影響は徐々に減少し,ネットワークパラメータは局所的に最適化される傾向にある。 同時に、訓練されたネットワークは特徴のすべての段階で重要な情報冗長性を有しており、全ての段階における特徴マッピングの有効性を低減し、最適方向におけるネットワークのその後のパラメータの変化には影響しないことがわかった。 したがって、前段特徴を抑える損失関数を設計し、前段特徴の情報冗長性を排除し、ネットワークのより最適化されたソリューションを得ることができ、さらにネットワークの分類精度を向上させることができる。 本稿は,CNNにおいて,有効特徴を洗練し,全ての段階における特徴の相関性を制限することで情報冗長性を解消する多段階的特徴相関損失(MFD Loss)を提案する。 cnnには多数の層があり、実験的比較と分析を通じて、mfd損失はcnnの複数の前面層に作用し、各層と各チャネルの出力特性を制約し、ネットワークトレーニング中に分類損失機能と共同で監督訓練を行う。 単一のSoftmax Loss教師付き学習と比較して、いくつかの典型的なCNNでよく使われるデータセットの実験は、Softmax Loss+MFD Lossの分類性能が著しく優れていることを証明している。 一方、MFDロスと他の典型的な損失関数の組み合わせ前後の比較実験は、そのよい普遍性を検証する。

関連論文リスト

• Multi-channel Time Series Decomposition Network For Generalizable Sensor-Based Activity Recognition [2.024925013349319]
  本稿では,MTSDNet(Multi- Channel Time Series Decomposition Network)を提案する。 トレーニング可能なパラメータ化時間分解により、元の信号を複数の成分と三角関数の組み合わせに分解する。 提案手法の精度と安定性を他の競合戦略と比較して予測する利点を示す。
  論文  参考訳（メタデータ） (2024-03-28T12:54:06Z)
• A Systematic Performance Analysis of Deep Perceptual Loss Networks: Breaking Transfer Learning Conventions [5.470136744581653]
  ディープ・パーセプチュアル・ロス(英: Deep Perceptual Los)とは、2つの画像間の誤差をニューラルネットワークから抽出したディープ・特徴間の距離として計算する画像のロス関数の一種である。 本研究は,4つの異なるアプリケーション領域における事前学習損失ネットワークの効果を評価する。
  論文  参考訳（メタデータ） (2023-02-08T13:08:51Z)
• Are All Losses Created Equal: A Neural Collapse Perspective [36.0354919583995]
  クロスエントロピー(CE)は、分類タスクのためにディープニューラルネットワークを訓練する最も一般的な損失である。 本研究では,一般的に使用されているラベルスムーシング (LS) や焦点損失 (FL) を含む広い範囲の損失関数がニューラル・コラプスを示すことを,グローバル・ソリューションとランドスケープ・アナリティクスを通じて示す。
  論文  参考訳（メタデータ） (2022-10-04T00:36:45Z)
• Image Superresolution using Scale-Recurrent Dense Network [30.75380029218373]
  畳み込みニューラルネットワーク(CNN)の設計の最近の進歩は、画像超解像(SR)の性能を大幅に向上させた。 残差ブロック内の一連の密接な接続を含む単位上に構築されたスケールリカレントSRアーキテクチャを提案する(Residual Dense Blocks (RDBs))。 我々のスケールリカレント設計は、現在の最先端のアプローチに比べてパラメトリックに効率的でありながら、より高いスケール要因の競合性能を提供する。
  論文  参考訳（メタデータ） (2022-01-28T09:18:43Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Why Do Better Loss Functions Lead to Less Transferable Features? [93.47297944685114]
  本稿では,画像ネット上で学習した畳み込みニューラルネットワークの隠れ表現が,学習対象の選択が伝達可能性に与える影響について検討する。 我々は,多くの目的が,バニラソフトマックスのクロスエントロピーよりも画像ネットの精度を統計的に有意に向上させることを示した。
  論文  参考訳（メタデータ） (2020-10-30T17:50:31Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
  本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。 提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
  論文  参考訳（メタデータ） (2020-06-08T02:39:59Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。