論文の概要: Depthwise Multiception Convolution for Reducing Network Parameters without Sacrificing Accuracy

• arxiv url: http://arxiv.org/abs/2011.03701v1
• Date: Sat, 7 Nov 2020 05:33:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 22:17:04.114370
• Title: Depthwise Multiception Convolution for Reducing Network Parameters without Sacrificing Accuracy
• Title（参考訳）: 精度を犠牲にすることなくネットワークパラメータを低減するための奥行きマルチセプション畳み込み
• Authors: Guoqing Bao, Manuel B. Graeber and Xiuying Wang
• Abstract要約: マルチセプション・コンボリューションはレイヤワイドなマルチスケールカーネルを導入し、各入力チャネルの表現を同時に学習する。 標準畳み込みベースのモデルのパラメータの数を平均で32.48%削減し、精度を保っている。
• 参考スコア（独自算出の注目度）: 2.0088802641040604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep convolutional neural networks have been proven successful in multiple benchmark challenges in recent years. However, the performance improvements are heavily reliant on increasingly complex network architecture and a high number of parameters, which require ever increasing amounts of storage and memory capacity. Depthwise separable convolution (DSConv) can effectively reduce the number of required parameters through decoupling standard convolution into spatial and cross-channel convolution steps. However, the method causes a degradation of accuracy. To address this problem, we present depthwise multiception convolution, termed Multiception, which introduces layer-wise multiscale kernels to learn multiscale representations of all individual input channels simultaneously. We have carried out the experiment on four benchmark datasets, i.e. Cifar-10, Cifar-100, STL-10 and ImageNet32x32, using five popular CNN models, Multiception achieved accuracy promotion in all models and demonstrated higher accuracy performance compared to related works. Meanwhile, Multiception significantly reduces the number of parameters of standard convolution-based models by 32.48% on average while still preserving accuracy.
• Abstract（参考訳）: 深層畳み込みニューラルネットワークは近年、複数のベンチマーク課題で成功を収めている。 しかし、性能改善はますます複雑なネットワークアーキテクチャと大量のパラメータに大きく依存しており、ストレージとメモリ容量の増大を必要としている。 奥行き分離畳み込み(dsconv)は、標準畳み込みを空間的および横断的畳み込みステップに分離することにより、必要なパラメータの数を効果的に削減することができる。 しかし、この方法は精度を低下させる。 この問題に対処するため,各入力チャネルのマルチスケール表現を同時に学習するためにレイヤワイドなマルチスケールカーネルを導入するマルチセプション(Multiception)を提案する。 我々は,5つのCNNモデルを用いて,Cifar-10,Cifar-100,STL-10,ImageNet32x32の4つのベンチマークデータセットを用いて実験を行った。 一方、マルチセプションは標準畳み込みに基づくモデルのパラメータ数を平均32.48%削減し、精度を維持している。

関連論文リスト

• Neural Networks at a Fraction with Pruned Quaternions [0.0]
  プルーニングは、不要な重量を取り除き、トレーニングと推論のリソース要求を減らす1つの手法である。 入力データが多次元であるMLタスクでは、複素数や四元数などの高次元データ埋め込みを用いることで、精度を維持しながらパラメータ数を削減することが示されている。 いくつかのアーキテクチャでは、非常に高い空間レベルにおいて、四元数モデルは実際のアーキテクチャよりも高い精度を提供する。
  論文  参考訳（メタデータ） (2023-08-13T14:25:54Z)
• Sequence Modeling with Multiresolution Convolutional Memory [27.218134279968062]
  我々は、MultiresLayerと呼ばれるシーケンスモデリングのための新しいビルディングブロックを構築します。 我々のモデルの主要な構成要素はマルチレゾリューション・コンボリューションであり、入力シーケンスにおけるマルチスケールトレンドをキャプチャする。 本モデルでは,多数のシーケンス分類と自己回帰密度推定タスクについて,最先端の性能を示す。
  論文  参考訳（メタデータ） (2023-05-02T17:50:54Z)
• Edge Inference with Fully Differentiable Quantized Mixed Precision Neural Networks [1.131071436917293]
  パラメータと演算をビット精度の低いものに量子化することで、ニューラルネットワークの推論にかなりのメモリとエネルギーを節約できる。 本稿では,エッジ計算を対象とする混合精度畳み込みニューラルネットワーク(CNN)の量子化手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:11:37Z)
• Residual-Concatenate Neural Network with Deep Regularization Layers for Binary Classification [3.1871776847712523]
  我々は,多嚢胞性卵巣症候群の予後診断に最も適した,多くの正規化層と結合プロセスを用いたディープニューラルネットワークを訓練する。 このネットワークは、データのニーズを満たすためのあらゆるステップから改善され、99.3%の精度をシームレスに達成した。
  論文  参考訳（メタデータ） (2022-05-25T13:42:35Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Inception Convolution with Efficient Dilation Search [121.41030859447487]
  拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。 そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。 本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
  論文  参考訳（メタデータ） (2020-12-25T14:58:35Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)
• XSepConv: Extremely Separated Convolution [60.90871656244126]
  極めて分離された畳み込みブロック(XSepConv)を提案する。 空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。 XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
  論文  参考訳（メタデータ） (2020-02-27T11:46:17Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• Depth-wise Decomposition for Accelerating Separable Convolutions in Efficient Convolutional Neural Networks [36.64158994999578]
  多くのコンピュータビジョンタスクの主要な方法として、ディープ畳み込みニューラルネットワーク(CNN)が確立されている。 近年,計算能力に制限のあるプラットフォーム上での画像認識タスクに対して,深度的に分離可能な畳み込み法が提案されている。 本稿では, SVD に基づく新しい分解手法を提案し, 正規畳み込みを深度分割可能な畳み込みに拡張する。
  論文  参考訳（メタデータ） (2019-10-21T15:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。