論文の概要: Rethinking Bottleneck Structure for Efficient Mobile Network Design
- arxiv url: http://arxiv.org/abs/2007.02269v4
- Date: Fri, 27 Nov 2020 16:02:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 08:22:50.762599
- Title: Rethinking Bottleneck Structure for Efficient Mobile Network Design
- Title（参考訳）: 効率的なモバイルネットワーク設計のためのボトルネック構造再考
- Authors: Zhou Daquan, Qibin Hou, Yunpeng Chen, Jiashi Feng, Shuicheng Yan
- Abstract要約: 倒立残差ブロックは最近,モバイルネットワークのアーキテクチャ設計を支配している。
この構造を反転させ,より高次元でのアイデンティティマッピングと空間変換を行うサンドグラスブロックと呼ばれる新しいボトルネック設計を提案する。
ImageNet分類では、パラメータや計算量を増やすことなく、逆残差ブロックを砂時計ブロックに置き換えることによって、MobileNetV2よりも1.7%以上精度を向上することができる。
- 参考スコア（独自算出の注目度）: 154.47657111869552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The inverted residual block is dominating architecture design for mobile
networks recently. It changes the classic residual bottleneck by introducing
two design rules: learning inverted residuals and using linear bottlenecks. In
this paper, we rethink the necessity of such design changes and find it may
bring risks of information loss and gradient confusion. We thus propose to flip
the structure and present a novel bottleneck design, called the sandglass
block, that performs identity mapping and spatial transformation at higher
dimensions and thus alleviates information loss and gradient confusion
effectively. Extensive experiments demonstrate that, different from the common
belief, such bottleneck structure is more beneficial than the inverted ones for
mobile networks. In ImageNet classification, by simply replacing the inverted
residual block with our sandglass block without increasing parameters and
computation, the classification accuracy can be improved by more than 1.7% over
MobileNetV2. On Pascal VOC 2007 test set, we observe that there is also 0.9%
mAP improvement in object detection. We further verify the effectiveness of the
sandglass block by adding it into the search space of neural architecture
search method DARTS. With 25% parameter reduction, the classification accuracy
is improved by 0.13% over previous DARTS models. Code can be found at:
https://github.com/zhoudaquan/rethinking_bottleneck_design.
- Abstract（参考訳）: 倒立残差ブロックは最近,モバイルネットワークのアーキテクチャ設計を支配している。
これは2つの設計ルールを導入することで、古典的な残留ボトルネックを変化させる。
本稿では,このような設計変更の必要性を再検討し,情報損失や勾配混乱のリスクをもたらす可能性を見いだす。
そこで我々は,その構造を反転させ,より高次元でのアイデンティティマッピングと空間変換を行い,情報損失と勾配混乱を効果的に緩和する,サンドグラスブロックと呼ばれる新しいボトルネック設計を提案する。
大規模な実験は、一般的な信念とは異なり、そのようなボトルネック構造がモバイルネットワークの反転構造よりも有益であることを示した。
ImageNet分類では、パラメータや計算量を増やすことなく、逆残差ブロックを砂時計ブロックに置き換えることによって、MobileNetV2よりも1.7%以上精度を向上することができる。
Pascal VOC 2007 テストセットでは、対象検出において 0.9% mAP も改善されている。
さらに,ニューラルネットワーク探索法dartsの探索空間に追加することにより,サンドグラスブロックの有効性をさらに検証する。
25%のパラメータ削減により、従来のdartsモデルよりも分類精度が0.13%向上した。
コードは、https://github.com/zhoudaquan/rethinking_bottleneck_design.comで参照できる。
関連論文リスト
- Lightweight Diffusion Models with Distillation-Based Block Neural
Architecture Search [55.41583104734349]
拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。
事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。
従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
論文 参考訳（メタデータ） (2023-11-08T12:56:59Z) - Pseudo-Inverted Bottleneck Convolution for DARTS Search Space [35.50068534514941]
本稿では,ConvNeXt で提案された逆ボトルネックブロックの計算フットプリントを削減することを目的とした Pseudo-Inverted Bottleneck (PIBConv) ブロックを提案する。
提案したアーキテクチャは, 評価層数に対してはるかに感度が低く, DARTSネットワークを2。
論文 参考訳（メタデータ） (2022-12-31T22:56:04Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳（メタデータ） (2022-04-10T11:38:33Z) - EResFD: Rediscovery of the Effectiveness of Standard Convolution for
Lightweight Face Detection [13.357235715178584]
顔検出のための軽量バックボーンアーキテクチャとして,標準的な畳み込みブロックの有効性を再検討する。
チャネル切断された標準畳み込み層は精度と推論速度を向上できることを示す。
提案する検出器EResFDは,CPU上でのVGA画像推測に37.7msしか要しないWIDER FACE Hardサブセット上で80.4%のmAPを得た。
論文 参考訳（メタデータ） (2022-04-04T02:30:43Z) - a novel attention-based network for fast salient object detection [14.246237737452105]
現在の有向物体検出ネットワークにおいて、最も一般的な方法はU字型構造を用いることである。
3つのコントリビューションを持つ新しい深層畳み込みネットワークアーキテクチャを提案する。
提案手法は, 精度を損なうことなく, 原サイズの1/3まで圧縮できることを示した。
論文 参考訳（メタデータ） (2021-12-20T12:30:20Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳（メタデータ） (2021-10-28T17:58:45Z) - AsymmNet: Towards ultralight convolution neural networks using
asymmetrical bottlenecks [7.736874685602911]
ディープ畳み込みニューラルネットワーク(CNN)は、さまざまなアプリケーションで驚くべき結果を達成しました。
しかし、メモリや計算資源が限られているため、モバイルや組み込みデバイスでこれらのモデルを使用することは困難である。
非対称ボトルネックと呼ばれる新しい設計を提案する。
正確には、第1のポイントワイズ畳み込みを調整し、機能再利用によって情報フローを強化し、保存された計算を第2のポイントワイズ畳み込みに移行する。
論文 参考訳（メタデータ） (2021-04-15T20:58:39Z) - Looking for change? Roll the Dice and demand Attention [0.0]
高解像度空中画像における意味変化検出のための信頼性の高いディープラーニングフレームワークを提案する。
我々のフレームワークは、新しいロス関数、新しいアテンションモジュール、新しい機能抽出ビルディングブロック、新しいバックボーンアーキテクチャで構成されています。
我々は,2つの建物変更検出データセットに対して,優れた性能を示すとともに,美術スコア(F1とIoUに対するインターセクション)の達成状況を示すことによって,我々のアプローチを検証する。
論文 参考訳（メタデータ） (2020-09-04T08:30:25Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z) - FBNetV2: Differentiable Neural Architecture Search for Spatial and
Channel Dimensions [70.59851564292828]
微分可能なニューラルネットワーク探索(DNAS)は、最先端で効率的なニューラルネットワークの設計において大きな成功を収めている。
メモリと計算効率のよいDNAS変異体DMaskingNASを提案する。
このアルゴリズムは、検索スペースを従来のDNASよりも最大1014倍に拡張する。
論文 参考訳（メタデータ） (2020-04-12T08:52:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。