論文の概要: MUXConv: Information Multiplexing in Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2003.13880v2
- Date: Tue, 7 Apr 2020 17:27:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 23:55:27.618452
- Title: MUXConv: Information Multiplexing in Convolutional Neural Networks
- Title（参考訳）: MUXConv:畳み込みニューラルネットワークにおける情報多重化
- Authors: Zhichao Lu and Kalyanmoy Deb and Vishnu Naresh Boddeti
- Abstract要約: MUXConvは、ネットワーク内のチャンネルと空間情報を段階的に多重化することで、情報の流れを増大させるように設計されている。
ImageNetでは、MUXNetsと呼ばれる結果のモデルが、MobileNetV3のパフォーマンス(75.3%のトップ-1精度)と乗算演算(218M)に一致している。
MUXNetは、転送学習やオブジェクト検出に適応する際にもよく機能する。
- 参考スコア（独自算出の注目度）: 25.284420772533572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional neural networks have witnessed remarkable improvements in
computational efficiency in recent years. A key driving force has been the idea
of trading-off model expressivity and efficiency through a combination of
$1\times 1$ and depth-wise separable convolutions in lieu of a standard
convolutional layer. The price of the efficiency, however, is the sub-optimal
flow of information across space and channels in the network. To overcome this
limitation, we present MUXConv, a layer that is designed to increase the flow
of information by progressively multiplexing channel and spatial information in
the network, while mitigating computational complexity. Furthermore, to
demonstrate the effectiveness of MUXConv, we integrate it within an efficient
multi-objective evolutionary algorithm to search for the optimal model
hyper-parameters while simultaneously optimizing accuracy, compactness, and
computational efficiency. On ImageNet, the resulting models, dubbed MUXNets,
match the performance (75.3% top-1 accuracy) and multiply-add operations (218M)
of MobileNetV3 while being 1.6$\times$ more compact, and outperform other
mobile models in all the three criteria. MUXNet also performs well under
transfer learning and when adapted to object detection. On the ChestX-Ray 14
benchmark, its accuracy is comparable to the state-of-the-art while being
$3.3\times$ more compact and $14\times$ more efficient. Similarly, detection on
PASCAL VOC 2007 is 1.2% more accurate, 28% faster and 6% more compact compared
to MobileNetV2. Code is available from
https://github.com/human-analysis/MUXConv
- Abstract（参考訳）: 近年、畳み込みニューラルネットワークは計算効率を著しく改善している。
主要な推進力は、標準の畳み込み層の代わりに1ドル=1\times 1とDeep-wiseの分離可能な畳み込みの組み合わせによるトレードオフモデル表現性と効率の考え方である。
しかし、効率性の代償は、ネットワーク内の空間とチャネルにまたがる情報の準最適フローである。
この制限を克服するために,ネットワーク内のチャネルと空間情報を段階的に多重化し,計算複雑性を軽減して情報フローを増加させるmuxconvを提案する。
さらに, MUXConvの有効性を示すために, 最適モデルハイパーパラメータを探索するために, 精度, コンパクト性, 計算効率を同時に最適化しながら, 効率的な多目的進化アルゴリズムに統合する。
ImageNetでは、MUXNetsと呼ばれる結果のモデルが、MobileNetV3のパフォーマンス(75.3%のトップ-1精度)と乗算演算(218M)に一致し、1.6$\times$よりコンパクトで、他の3つの基準で他のモバイルモデルより優れていた。
MUXNetは、転送学習やオブジェクト検出に適応する際にもよく機能する。
ChestX-Ray 14のベンチマークでは、その精度は最先端に匹敵するが、3.3\times$よりコンパクトで14\times$より効率的である。
同様に、PASCAL VOC 2007での検知は、MobileNetV2と比較して1.2%精度が28%高速で6%コンパクトである。
コードはhttps://github.com/ Human-analysis/MUXConvから入手できる。
関連論文リスト
- TransXNet: Learning Both Global and Local Dynamics with a Dual Dynamic
Token Mixer for Visual Recognition [71.6546914957701]
本稿では,グローバルな情報と局所的な詳細を入力依存の方法で集約する軽量なDual Dynamic Token Mixer (D-Mixer)を提案する。
我々は、新しいハイブリッドCNN-TransformerビジョンバックボーンネットワークであるTransXNetを設計するために、基本的なビルディングブロックとしてD-Mixerを使用している。
ImageNet-1Kの画像分類タスクでは、TransXNet-TはSwing-Tを0.3%上回り、計算コストの半分以下である。
論文 参考訳（メタデータ） (2023-10-30T09:35:56Z) - EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for
Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。
1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。
パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文 参考訳（メタデータ） (2022-06-21T17:59:56Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。
トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。
実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
論文 参考訳（メタデータ） (2021-04-01T07:08:36Z) - FastSal: a Computationally Efficient Network for Visual Saliency
Prediction [7.742198347952173]
我々は、MobileNetV2が視覚的サリエンシモデルに優れたバックボーンを作り、複雑なデコーダを使わずに有効であることを示す。
また,DeepGaze IIのような計算コストの高いモデルからの知識伝達は,ラベルのないデータセットを擬似ラベリングすることで実現できることを示す。
論文 参考訳（メタデータ） (2020-08-25T16:32:33Z) - Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。
CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。
ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
論文 参考訳（メタデータ） (2020-07-29T23:17:48Z) - DyNet: Dynamic Convolution for Accelerating Convolutional Neural
Networks [16.169176006544436]
本稿では,画像内容に基づいてコンボリューションカーネルを適応的に生成する動的畳み込み手法を提案する。
MobileNetV3-Small/Largeアーキテクチャに基づいて、DyNetはImageNet上で70.3/77.1%のTop-1精度を達成し、2.9/1.9%改善した。
論文 参考訳（メタデータ） (2020-04-22T16:58:05Z) - AANet: Adaptive Aggregation Network for Efficient Stereo Matching [33.39794232337985]
現在の最先端ステレオモデルは、ほとんどが高価な3D畳み込みに基づいている。
エッジフェットング問題を緩和するために,スパースポイントに基づくスケール内コストアグリゲーション手法を提案する。
また、従来のクロススケールなコスト集約アルゴリズムをニューラルネットワーク層に近似して、大きなテクスチャレス領域を処理する。
論文 参考訳（メタデータ） (2020-04-20T18:07:55Z) - FBNetV2: Differentiable Neural Architecture Search for Spatial and
Channel Dimensions [70.59851564292828]
微分可能なニューラルネットワーク探索(DNAS)は、最先端で効率的なニューラルネットワークの設計において大きな成功を収めている。
メモリと計算効率のよいDNAS変異体DMaskingNASを提案する。
このアルゴリズムは、検索スペースを従来のDNASよりも最大1014倍に拡張する。
論文 参考訳（メタデータ） (2020-04-12T08:52:15Z) - XSepConv: Extremely Separated Convolution [60.90871656244126]
極めて分離された畳み込みブロック(XSepConv)を提案する。
空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。
XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
論文 参考訳（メタデータ） (2020-02-27T11:46:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。