論文の概要: MGIC: Multigrid-in-Channels Neural Network Architectures

• arxiv url: http://arxiv.org/abs/2011.09128v3
• Date: Sat, 7 Aug 2021 09:39:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 15:37:22.942344
• Title: MGIC: Multigrid-in-Channels Neural Network Architectures
• Title（参考訳）: mgic: マルチグリッド・イン・チャネルニューラルネットワークアーキテクチャ
• Authors: Moshe Eliasof, Jonathan Ephrath, Lars Ruthotto, Eran Treister
• Abstract要約: 本稿では,標準畳み込みニューラルネットワーク(CNN)におけるチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド・イン・チャネル手法を提案する。 近年の軽量CNNの成功にともなうCNNの冗長性に対処する。
• 参考スコア（独自算出の注目度）: 8.459177309094688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a multigrid-in-channels (MGIC) approach that tackles the quadratic growth of the number of parameters with respect to the number of channels in standard convolutional neural networks (CNNs). Thereby our approach addresses the redundancy in CNNs that is also exposed by the recent success of lightweight CNNs. Lightweight CNNs can achieve comparable accuracy to standard CNNs with fewer parameters; however, the number of weights still scales quadratically with the CNN's width. Our MGIC architectures replace each CNN block with an MGIC counterpart that utilizes a hierarchy of nested grouped convolutions of small group size to address this. Hence, our proposed architectures scale linearly with respect to the network's width while retaining full coupling of the channels as in standard CNNs. Our extensive experiments on image classification, segmentation, and point cloud classification show that applying this strategy to different architectures like ResNet and MobileNetV3 reduces the number of parameters while obtaining similar or better accuracy.
• Abstract（参考訳）: 本稿では,標準畳み込みニューラルネットワーク(CNN)のチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド・イン・チャネル(MGIC)アプローチを提案する。 これにより,最近の軽量CNNの成功にともなうCNNの冗長性に対処する。 軽量CNNはパラメータが少ない標準CNNに匹敵する精度を達成できるが、重みの数はCNNの幅に比例する。 我々のMGICアーキテクチャは、各CNNブロックをMGICブロックに置き換え、小さなグループサイズのネストされたグループ畳み込みの階層を利用してこれに対応する。 したがって,提案アーキテクチャは,標準CNNのようにチャネルの完全な結合を維持しつつ,ネットワーク幅に対して線形にスケールする。 画像分類、セグメンテーション、ポイントクラウド分類に関する広範な実験により、この戦略をresnetやmobilenetv3のような異なるアーキテクチャに適用することで、類似またはより良い精度を得ながらパラメータの数を削減できることを示した。

関連論文リスト

• Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition [0.0]
  ディープ畳み込みニューラルネットワーク(CNN)は、幅広い画像処理アプリケーションで非常に成功したことが示されている。 モデルパラメータの増大と大量のトレーニングデータの増加により、複雑なCNNを効率的に訓練するための並列化戦略が必要である。
  論文  参考訳（メタデータ） (2024-08-26T17:35:01Z)
• OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
  設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。 本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。 この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
  論文  参考訳（メタデータ） (2024-03-21T14:06:38Z)
• A heterogeneous group CNN for image super-resolution [127.2132400582117]
  畳み込みニューラルネットワーク(CNN)は、深いアーキテクチャを通して顕著な性能を得た。 異種グループSR CNN(HGSRCNN)を,異なるタイプの構造情報を利用して高品質な画像を得る。
  論文  参考訳（メタデータ） (2022-09-26T04:14:59Z)
• AutoDiCE: Fully Automated Distributed CNN Inference at the Edge [0.9883261192383613]
  本稿では,CNNモデルのサブモデルへの自動分割のための新しいフレームワークであるAutoDiCEを提案する。 実験の結果、AutoDiCEは、エッジデバイス当たりのエネルギー消費とメモリ使用量を減らすことで、分散CNN推論を実現することができることがわかった。
  論文  参考訳（メタデータ） (2022-07-20T15:08:52Z)
• Exploiting Hybrid Models of Tensor-Train Networks for Spoken Command Recognition [9.262289183808035]
  本研究の目的は,低複雑性音声コマンド認識(SCR)システムの設計である。 我々は、テンソルトレイン(TT)ネットワークの深いハイブリッドアーキテクチャを利用して、エンドツーエンドのSRCパイプラインを構築する。 提案したCNN+(TT-DNN)モデルでは,CNNモデルより4倍少ないモデルパラメータで96.31%の競争精度が得られる。
  論文  参考訳（メタデータ） (2022-01-11T05:57:38Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Rescaling CNN through Learnable Repetition of Network Parameters [2.137666194897132]
  CNNのパラメータの学習可能な反復に基づく新しい再スケーリング戦略を提案する。 小ベースネットワークが再スケールされると、より深いネットワークの最適化パラメータの6%以下で、より深いネットワークに匹敵するパフォーマンスを提供できることを示す。
  論文  参考訳（メタデータ） (2021-01-14T15:03:25Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Exploring Deep Hybrid Tensor-to-Vector Network Architectures for Regression Based Speech Enhancement [53.47564132861866]
  我々は、CNN-TTというハイブリッドアーキテクチャが、モデルパラメータを小さくして高品質な性能を維持することができることを見出した。 CNN-TTは、音声品質を改善するために、特徴抽出のために下部に複数の畳み込み層で構成されている。
  論文  参考訳（メタデータ） (2020-07-25T22:21:05Z)
• Multigrid-in-Channels Architectures for Wide Convolutional Neural Networks [6.929025509877642]
  本稿では,標準畳み込みニューラルネットワーク(CNN)のチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド手法を提案する。 教師付き画像分類の例では、この戦略を残差ネットワークに適用し、MobileNetV2は精度に悪影響を及ぼすことなくパラメータ数を著しく削減している。
  論文  参考訳（メタデータ） (2020-06-11T20:28:36Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。