論文の概要: Deep Residual Compensation Convolutional Network without Backpropagation

• arxiv url: http://arxiv.org/abs/2301.11663v1
• Date: Fri, 27 Jan 2023 11:45:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-01-30 15:45:21.085704
• Title: Deep Residual Compensation Convolutional Network without Backpropagation
• Title（参考訳）: バックプロパゲーションのない深部残差補償畳み込みネットワーク
• Authors: Mubarakah Alotaibi, Richard Wilson
• Abstract要約: 数百の層でトレーニングされたPCANetライクなネットワークである残差補償畳み込みネットワークを導入する。 分類誤差を修正するため,各層に先行する各層の残余情報から得られた新しいラベルを学習する。 実験の結果、我々のディープネットワークは既存のPCANetのようなネットワークよりも優れており、従来の勾配モデルと競合していることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: PCANet and its variants provided good accuracy results for classification tasks. However, despite the importance of network depth in achieving good classification accuracy, these networks were trained with a maximum of nine layers. In this paper, we introduce a residual compensation convolutional network, which is the first PCANet-like network trained with hundreds of layers while improving classification accuracy. The design of the proposed network consists of several convolutional layers, each followed by post-processing steps and a classifier. To correct the classification errors and significantly increase the network's depth, we train each layer with new labels derived from the residual information of all its preceding layers. This learning mechanism is accomplished by traversing the network's layers in a single forward pass without backpropagation or gradient computations. Our experiments on four distinct classification benchmarks (MNIST, CIFAR-10, CIFAR-100, and TinyImageNet) show that our deep network outperforms all existing PCANet-like networks and is competitive with several traditional gradient-based models.
• Abstract（参考訳）: PCANetとその変種は、分類タスクの精度の良い結果を提供した。 しかし,分類精度が向上する上でネットワーク深度が重要であるにもかかわらず,これらのネットワークは最大9層で訓練された。 本稿では,何百層にも及ぶpcanetライクなネットワークとして初めて,分類精度を向上させた残差補償畳み込みネットワークを提案する。 提案するネットワークの設計は複数の畳み込み層で構成され、それぞれに処理後のステップと分類器が続く。 分類誤差を補正し,ネットワーク深度を大幅に向上させるため,各層に先行する各層の残余情報から得られたラベルを学習する。 この学習メカニズムは、バックプロパゲーションや勾配計算なしで、ネットワークの層を単一のフォワードパスでトラバースすることで実現される。 MNIST、CIFAR-10、CIFAR-100、TinyImageNetの4つの異なる分類ベンチマーク実験により、我々のディープネットワークは既存のPCANetのようなネットワークよりも優れており、従来の勾配モデルと競合することを示す。

関連論文リスト

• Neural Collapse in the Intermediate Hidden Layers of Classification Neural Networks [0.0]
  (NC)は、分類ニューラルネットワークの最終的な隠蔽層におけるクラスの表現を正確に記述する。 本稿では,中間層におけるNCの出現を包括的に解析する。
  論文  参考訳（メタデータ） (2023-08-05T01:19:38Z)
• Hidden Classification Layers: Enhancing linear separability between classes in neural networks layers [0.0]
  トレーニング手法の深層ネットワーク性能への影響について検討する。 本稿では,全てのネットワークレイヤの出力を含むエラー関数を誘導するニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-09T10:52:49Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Deep Networks from the Principle of Rate Reduction [32.87280757001462]
  この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。 学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。 この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
  論文  参考訳（メタデータ） (2020-10-27T06:01:43Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。