論文の概要: WSEBP: A Novel Width-depth Synchronous Extension-based Basis Pursuit
Algorithm for Multi-Layer Convolutional Sparse Coding
- arxiv url: http://arxiv.org/abs/2203.14856v2
- Date: Wed, 30 Mar 2022 02:22:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-31 11:45:11.998418
- Title: WSEBP: A Novel Width-depth Synchronous Extension-based Basis Pursuit
Algorithm for Multi-Layer Convolutional Sparse Coding
- Title（参考訳）: wsebp:多層畳み込みスパース符号化のための新しい幅深度同期拡張ベース追従アルゴリズム
- Authors: Haitong Tang, Shuang He, Lingbin Bian, Zhiming Cui, Nizhuan Wang
- Abstract要約: 多層畳み込みスパース符号化(ML-CSC)は畳み込みニューラルネットワーク(CNN)を解釈できる
現在の最先端(SOTA)探索アルゴリズムの多くはML-CSCの解を最適化するために複数の繰り返しを必要とする。
本稿では,ML-CSC問題を反復回数の制限なく解くWSEBPアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 4.521915878576165
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The pursuit algorithms integrated in multi-layer convolutional sparse coding
(ML-CSC) can interpret the convolutional neural networks (CNNs). However, many
current state-of-art (SOTA) pursuit algorithms require multiple iterations to
optimize the solution of ML-CSC, which limits their applications to deeper CNNs
due to high computational cost and large number of resources for getting very
tiny gain of performance. In this study, we focus on the 0th iteration in
pursuit algorithm by introducing an effective initialization strategy for each
layer, by which the solution for ML-CSC can be improved. Specifically, we first
propose a novel width-depth synchronous extension-based basis pursuit (WSEBP)
algorithm which solves the ML-CSC problem without the limitation of the number
of iterations compared to the SOTA algorithms and maximizes the performance by
an effective initialization in each layer. Then, we propose a simple and
unified ML-CSC-based classification network (ML-CSC-Net) which consists of an
ML-CSC-based feature encoder and a fully-connected layer to validate the
performance of WSEBP on image classification task. The experimental results
show that our proposed WSEBP outperforms SOTA algorithms in terms of accuracy
and consumption resources. In addition, the WSEBP integrated in CNNs can
improve the performance of deeper CNNs and make them interpretable. Finally,
taking VGG as an example, we propose WSEBP-VGG13 to enhance the performance of
VGG13, which achieves competitive results on four public datasets, i.e., 87.79%
vs. 86.83% on Cifar-10 dataset, 58.01% vs. 54.60% on Cifar-100 dataset, 91.52%
vs. 89.58% on COVID-19 dataset, and 99.88% vs. 99.78% on Crack dataset,
respectively. The results show the effectiveness of the proposed WSEBP, the
improved performance of ML-CSC with WSEBP, and interpretation of the CNNs or
deeper CNNs.
- Abstract（参考訳）: 多層畳み込みスパース符号化(ML-CSC)に組み込まれた追従アルゴリズムは、畳み込みニューラルネットワーク(CNN)を解釈することができる。
しかし、ML-CSCのソリューションを最適化するためには、多くの現在の最先端(SOTA)追従アルゴリズムが複数のイテレーションを必要とする。
本研究では,ML-CSCの解法を改善するため,各層に対して効率的な初期化戦略を導入することにより,探索アルゴリズムにおける0番目の繰り返しに着目した。
具体的には,somaアルゴリズムと比較して,反復数を制限せずにml-csc問題を解き,各層における効果的な初期化による性能を最大化する,新しい幅深度同期拡張ベース基底追従法(wsebp)を提案する。
そこで我々は,ML-CSCをベースとした特徴エンコーダと,画像分類タスクにおけるWSEBPの性能を評価するための完全接続層からなる,シンプルで統一的なML-CSCベースの分類ネットワーク(ML-CSC-Net)を提案する。
実験の結果,提案する WSEBP は精度と消費資源の点で SOTA アルゴリズムより優れていることがわかった。
さらに、CNNに統合されたWSEBPは、より深いCNNの性能を改善し、それらを解釈できるようにする。
最後に、VGGを例として、VGG13の性能を高めるためにWSEBP-VGG13を提案する。これは、4つのパブリックデータセット、すなわちCifar-10データセットで87.79%対86.83%、Cifar-100データセットで58.01%対54.60%、COVID-19データセットで91.52%対89.58%、スクラッチデータセットで99.88%対99.78%である。
その結果,提案した WSEBP の有効性,WSEBP を用いた ML-CSC の性能向上,CNN やより深い CNN の解釈が示された。
関連論文リスト
- A GPU-Accelerated Moving-Horizon Algorithm for Training Deep
Classification Trees on Large Datasets [13.02279265869312]
連続的な特徴を持つ分類木(MH-DEOCT)に対する移動水平微分アルゴリズムを提案する。
本手法は,隣接サンプル間の重複探索を除去する離散木復号法により構成する。
MH-DEOCTは、トレーニングとテストのほぼ最適性能を達成する。
論文 参考訳（メタデータ） (2023-11-12T20:34:00Z) - ConvBLS: An Effective and Efficient Incremental Convolutional Broad
Learning System for Image Classification [63.49762079000726]
球状K-means(SKM)アルゴリズムと2段階マルチスケール(TSMS)機能融合に基づく畳み込み広範学習システム(ConvBLS)を提案する。
提案手法は前代未聞の効率的かつ効果的である。
論文 参考訳（メタデータ） (2023-04-01T04:16:12Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Learning Enhancement of CNNs via Separation Index Maximizing at the
First Convolutional Layer [1.6244541005112747]
教師付き複雑性尺度としての分離指数(SI)は、分類問題に対するCNNのより良い学習における使用法を説明する。
学習戦略では、SIを最大化することでCNNの第1層を最適化し、さらに第2層をバックプロパゲーションアルゴリズムでトレーニングし、さらなるレイヤを学習する。
論文 参考訳（メタデータ） (2022-01-13T21:32:14Z) - CSC-Unet: A Novel Convolutional Sparse Coding Strategy Based Neural
Network for Semantic Segmentation [0.44289311505645573]
本稿では,一般的な畳み込み操作を多層畳み込み符号化ブロックに書き換える新しい戦略を提案する。
多層畳み込みスパース符号化ブロックは,セマンティックセグメンテーションモデルをより高速に収束させ,画像のより微細なセマンティックおよび外観情報を抽出し,空間的詳細情報を復元する能力を向上させることができることを示す。
論文 参考訳（メタデータ） (2021-08-01T09:16:31Z) - Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。
異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。
GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文 参考訳（メタデータ） (2021-07-31T08:36:30Z) - ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence
Optimization for CNN [6.662639002101124]
近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。
既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。
新規な自動チャネル切断法(ACP)を提案する。
ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
論文 参考訳（メタデータ） (2021-01-16T08:56:38Z) - What Deep CNNs Benefit from Global Covariance Pooling: An Optimization
Perspective [102.37204254403038]
我々は最適化の観点から、GCPの深いCNNのメリットを理解する試みを行っている。
GCPは最適化のランドスケープをよりスムーズにし、勾配をより予測できることを示す。
多様なタスクに対して様々な深部CNNモデルを用いて広範な実験を行い,その結果を強く支持する。
論文 参考訳（メタデータ） (2020-03-25T07:00:45Z) - Improving the Backpropagation Algorithm with Consequentialism Weight
Updates over Mini-Batches [0.40611352512781856]
適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。
我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。
我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
論文 参考訳（メタデータ） (2020-03-11T08:45:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。