論文の概要: AsymmNet: Towards ultralight convolution neural networks using asymmetrical bottlenecks

• arxiv url: http://arxiv.org/abs/2104.07770v1
• Date: Thu, 15 Apr 2021 20:58:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 08:36:30.696830
• Title: AsymmNet: Towards ultralight convolution neural networks using asymmetrical bottlenecks
• Title（参考訳）: AsymmNet:非対称ボトルネックを用いた超軽量畳み込みニューラルネットワークを目指して
• Authors: Haojin Yang, Zhen Shen, Yucheng Zhao
• Abstract要約: ディープ畳み込みニューラルネットワーク(CNN)は、さまざまなアプリケーションで驚くべき結果を達成しました。 しかし、メモリや計算資源が限られているため、モバイルや組み込みデバイスでこれらのモデルを使用することは困難である。 非対称ボトルネックと呼ばれる新しい設計を提案する。 正確には、第1のポイントワイズ畳み込みを調整し、機能再利用によって情報フローを強化し、保存された計算を第2のポイントワイズ畳み込みに移行する。
• 参考スコア（独自算出の注目度）: 7.736874685602911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep convolutional neural networks (CNN) have achieved astonishing results in a large variety of applications. However, using these models on mobile or embedded devices is difficult due to the limited memory and computation resources. Recently, the inverted residual block becomes the dominating solution for the architecture design of compact CNNs. In this work, we comprehensively investigated the existing design concepts, rethink the functional characteristics of two pointwise convolutions in the inverted residuals. We propose a novel design, called asymmetrical bottlenecks. Precisely, we adjust the first pointwise convolution dimension, enrich the information flow by feature reuse, and migrate saved computations to the second pointwise convolution. By doing so we can further improve the accuracy without increasing the computation overhead. The asymmetrical bottlenecks can be adopted as a drop-in replacement for the existing CNN blocks. We can thus create AsymmNet by easily stack those blocks according to proper depth and width conditions. Extensive experiments demonstrate that our proposed block design is more beneficial than the original inverted residual bottlenecks for mobile networks, especially useful for those ultralight CNNs within the regime of <220M MAdds. Code is available at https://github.com/Spark001/AsymmNet
• Abstract（参考訳）: 深層畳み込みニューラルネットワーク(cnn)は、さまざまなアプリケーションで驚くべき結果を達成しています。 しかし、メモリや計算資源が限られているため、モバイルや組み込みデバイスでこれらのモデルを使用することは困難である。 近年, 逆残差ブロックはコンパクトCNNのアーキテクチャ設計における支配的ソリューションとなっている。 本研究では,既存の設計概念を包括的に検討し,逆残差の2つの点的畳み込みの機能的特徴を再考した。 非対称ボトルネックと呼ばれる新しい設計を提案する。 正確には、第1のポイントワイド畳み込み次元を調整し、特徴再利用による情報フローを強化し、保存された計算を第2のポイントワイド畳み込みへ移行する。 これにより、計算オーバーヘッドを増大させることなく精度をさらに向上できる。 非対称なボトルネックは、既存のCNNブロックのドロップイン代替として採用することができる。 したがって、適切な深さと幅条件に従ってこれらのブロックを簡単に積み重ねることで、AsymmNetを作成することができる。 大規模な実験により,提案したブロック設計は,モバイルネットワークにおける元の逆の残差ボトルネックよりも有益であることが示され,特に<220M MAddsの体制における超軽量CNNにとって有用である。 コードはhttps://github.com/Spark001/AsymmNetで入手できる。

関連論文リスト

• Quality Scalable Quantization Methodology for Deep Learning on Edge [0.20718016474717196]
  ディープラーニングアーキテクチャは重い計算を使い、計算エネルギーの大部分は畳み込みニューラルネットワークの畳み込み演算によって取り込まれる。 提案する研究は、ユビキタスコンピューティングデバイス上でエッジコンピューティングで機械学習技術を使用する場合、CNNのエネルギー消費とサイズを削減することである。 LeNetとConvNetsで実施された実験では、ゼロの6%まで増加し、メモリ節約量は82.4919%まで増加し、最先端の精度を維持した。
  論文  参考訳（メタデータ） (2024-07-15T22:00:29Z)
• A foundation for exact binarized morphological neural networks [2.8925699537310137]
  ディープニューラルネットワーク(NN)のトレーニングと実行は、多くの計算とエネルギー集約的な特別なハードウェアを必要とすることが多い。 計算量と消費電力を減らす方法の1つは二重NNを使うことであるが、これは符号関数が非滑らかな勾配を持つため訓練が困難である。 本研究では,特定の条件下での性能を損なうことなく,ConvNetを二項化できる数学的形態(MM)に基づくモデルを提案する。
  論文  参考訳（メタデータ） (2024-01-08T11:37:44Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• a novel attention-based network for fast salient object detection [14.246237737452105]
  現在の有向物体検出ネットワークにおいて、最も一般的な方法はU字型構造を用いることである。 3つのコントリビューションを持つ新しい深層畳み込みネットワークアーキテクチャを提案する。 提案手法は, 精度を損なうことなく, 原サイズの1/3まで圧縮できることを示した。
  論文  参考訳（メタデータ） (2021-12-20T12:30:20Z)
• Learning from Images: Proactive Caching with Parallel Convolutional Neural Networks [94.85780721466816]
  本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。 モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。 数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
  論文  参考訳（メタデータ） (2021-08-15T21:32:47Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)
• Rethinking Bottleneck Structure for Efficient Mobile Network Design [154.47657111869552]
  倒立残差ブロックは最近,モバイルネットワークのアーキテクチャ設計を支配している。 この構造を反転させ,より高次元でのアイデンティティマッピングと空間変換を行うサンドグラスブロックと呼ばれる新しいボトルネック設計を提案する。 ImageNet分類では、パラメータや計算量を増やすことなく、逆残差ブロックを砂時計ブロックに置き換えることによって、MobileNetV2よりも1.7%以上精度を向上することができる。
  論文  参考訳（メタデータ） (2020-07-05T08:55:26Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。