Fugu-MT 論文翻訳(概要): When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks

論文の概要: When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks

arxiv url: http://arxiv.org/abs/2004.08796v2
Date: Fri, 24 Apr 2020 05:21:07 GMT
ステータス: 処理完了
システム内更新日: 2022-12-12 00:23:09.476329
Title: When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks
Title（参考訳）: 残差学習が密集する時:ディープニューラルネットワークの集約を再考する
Authors: Zhiyu Zhu, Zhen-Peng Bian, Junhui Hou, Yi Wang, Lap-Pui Chau
Abstract要約: 我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
参考スコア（独自算出の注目度）: 57.0502745301132
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Various architectures (such as GoogLeNets, ResNets, and DenseNets) have been proposed. However, the existing networks usually suffer from either redundancy of convolutional layers or insufficient utilization of parameters. To handle these challenging issues, we propose Micro-Dense Nets, a novel architecture with global residual learning and local micro-dense aggregations. Specifically, residual learning aims to efficiently retrieve features from different convolutional blocks, while the micro-dense aggregation is able to enhance each block and avoid redundancy of convolutional layers by lessening residual aggregations. Moreover, the proposed micro-dense architecture has two characteristics: pyramidal multi-level feature learning which can widen the deeper layer in a block progressively, and dimension cardinality adaptive convolution which can balance each layer using linearly increasing dimension cardinality. The experimental results over three datasets (i.e., CIFAR-10, CIFAR-100, and ImageNet-1K) demonstrate that the proposed Micro-Dense Net with only 4M parameters can achieve higher classification accuracy than state-of-the-art networks, while being 12.1$\times$ smaller depends on the number of parameters. In addition, our micro-dense block can be integrated with neural architecture search based models to boost their performance, validating the advantage of our architecture. We believe our design and findings will be beneficial to the DNN community.
Abstract（参考訳）: 様々なアーキテクチャ(GoogLeNets、ResNets、DenseNetsなど)が提案されている。しかし、既存のネットワークは通常、畳み込み層の冗長性やパラメータの不十分な利用に悩まされる。これらの課題に対処するために,グローバルな残差学習と局所的なマイクロセンス集約を備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。具体的には、残差学習は、異なる畳み込みブロックから効率よく特徴を抽出することを目的としており、一方、微小密度集約は、各ブロックを強化し、残差集約を減らすことで畳み込み層の冗長性を回避することができる。さらに,提案するマイクロデンスアーキテクチャは,ブロック内の深層を段階的に拡大できるピラミッド型多レベル特徴学習と,線形に増加する次元濃度を用いて各層をバランスできる次元濃度適応畳み込みという2つの特徴を有する。 3つのデータセット(cifar-10、cifar-100、imagenet-1k)における実験の結果から、4mのパラメータしか持たないマイクロデンスネットは、最先端のネットワークよりも高い分類精度を達成できるが、12.1$\times$はパラメータの数に依存する。さらに、我々のマイクロセンスブロックは、ニューラルネットワーク検索に基づくモデルと統合することができ、その性能を向上し、アーキテクチャの利点を検証することができる。デザインと発見はDNNコミュニティにとって有益であると考えています。

関連論文リスト

DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
論文参考訳（メタデータ） (2024-03-14T02:11:38Z)
Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文参考訳（メタデータ） (2022-10-14T18:00:07Z)
ME-CapsNet: A Multi-Enhanced Capsule Networks with Routing Mechanism [0.0]
本研究は,各層の受容領域内の空間成分とチャネル成分の両面を高度に最適化する,新たなソリューションの実現に焦点をあてる。我々は, カプセル層を戦略的に通過する前に重要な特徴を抽出するために, より深い畳み込み層を導入し, ME-CapsNetを提案する。より深い畳み込み層にはSqueeze-Excitationネットワークのブロックが含まれており、重要な特徴情報を失うことなく、サンプリングアプローチを使用して相互依存関係を再構築する。
論文参考訳（メタデータ） (2022-03-29T13:29:38Z)
Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
論文参考訳（メタデータ） (2021-06-16T15:56:34Z)
Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文参考訳（メタデータ） (2021-06-15T17:22:59Z)
A Deeper Look into Convolutions via Pruning [9.89901717499058]
現代のアーキテクチャは、複数のレイヤの畳み込みの後、しばしば最後に、非常に少数の完全に接続されたレイヤを含んでいる。この戦略はすでにパラメータの数を削減しているが、ほとんどの畳み込みは認識性能を損なうことなく排除できる。本研究では,従来の重みに基づく重み付け手法に加えて,固有値に基づく行列特性を用いて,広く使用されているCNNファミリーの内部機構に光を当てる。
論文参考訳（メタデータ） (2021-02-04T18:55:03Z)
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文参考訳（メタデータ） (2020-09-08T13:10:21Z)
Res-CR-Net, a residual network with a novel architecture optimized for the semantic segmentation of microscopy images [0.5363346028859919]
Res-CR-NetはDeep Neural Network(DNN)の一種で、異なるダイレーションレートの分離可能なアトラス畳み込みの束または畳み込みLSTMを持つ残効ブロックを特徴とする。各残余ブロックで使用されるフィルタの数とブロック数だけが、様々な顕微鏡画像のネットワークトレーニングを最適化するために修正する必要がある唯一のハイパーパラメータである。
論文参考訳（メタデータ） (2020-04-14T21:21:01Z)
Dense Residual Network: Enhancing Global Dense Feature Flow for Character Recognition [75.4027660840568]
本稿では,すべての畳み込み層から階層的特徴をフルに活用することにより,局所的・大域的特徴フローを改善する方法について検討する。技術的には、テキスト認識のための効率的で効果的なCNNフレームワークであるFDRN(Fast Dense Residual Network)を提案する。
論文参考訳（メタデータ） (2020-01-23T06:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。