論文の概要: Multigrid-in-Channels Architectures for Wide Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2006.06799v2
• Date: Thu, 19 Nov 2020 18:30:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 09:26:51.568572
• Title: Multigrid-in-Channels Architectures for Wide Convolutional Neural Networks
• Title（参考訳）: 広畳み込みニューラルネットワークのためのマルチグリッド・イン・チャンネルアーキテクチャ
• Authors: Jonathan Ephrath, Lars Ruthotto, Eran Treister
• Abstract要約: 本稿では,標準畳み込みニューラルネットワーク(CNN)のチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド手法を提案する。 教師付き画像分類の例では、この戦略を残差ネットワークに適用し、MobileNetV2は精度に悪影響を及ぼすことなくパラメータ数を著しく削減している。
• 参考スコア（独自算出の注目度）: 6.929025509877642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a multigrid approach that combats the quadratic growth of the number of parameters with respect to the number of channels in standard convolutional neural networks (CNNs). It has been shown that there is a redundancy in standard CNNs, as networks with much sparser convolution operators can yield similar performance to full networks. The sparsity patterns that lead to such behavior, however, are typically random, hampering hardware efficiency. In this work, we present a multigrid-in-channels approach for building CNN architectures that achieves full coupling of the channels, and whose number of parameters is linearly proportional to the width of the network. To this end, we replace each convolution layer in a generic CNN with a multilevel layer consisting of structured (i.e., grouped) convolutions. Our examples from supervised image classification show that applying this strategy to residual networks and MobileNetV2 considerably reduces the number of parameters without negatively affecting accuracy. Therefore, we can widen networks without dramatically increasing the number of parameters or operations.
• Abstract（参考訳）: 本稿では,標準畳み込みニューラルネットワーク(CNN)のチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド手法を提案する。 多くのスペーサー畳み込み演算子を持つネットワークはフルネットワークと同等の性能が得られるため、標準的なCNNには冗長性があることが示されている。 しかし、このような行動につながるスパーシティパターンは通常ランダムであり、ハードウェア効率を阻害する。 本稿では,チャネルの完全結合を実現し,パラメータ数がネットワーク幅に線形に比例するcnnアーキテクチャを構築するためのマルチグリッド・イン・チャネルアプローチを提案する。 この目的のために、汎用CNNにおける各畳み込み層を、構造化(グループ化された)畳み込みからなる多層層に置き換える。 残差ネットワークとmobilenetv2にこの戦略を適用すると,精度に悪影響を及ぼすことなくパラメータ数を大幅に削減できることを示す。 したがって、パラメータや操作数を劇的に増加させることなく、ネットワークを広げることができる。

関連論文リスト

• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Adversarial Examples in Multi-Layer Random ReLU Networks [39.797621513256026]
  逆例は独立したガウスパラメータを持つReLUネットワークに現れる。 ネットワーク内のボトルネック層は重要な役割を担っている。ある時点までの最小の幅は、その時点まで計算されたマッピングのスケールと感度を決定する。
  論文  参考訳（メタデータ） (2021-06-23T18:16:34Z)
• Container: Context Aggregation Network [83.12004501984043]
  最近の発見は、従来の畳み込みやトランスフォーマーコンポーネントを使わずに、シンプルなベースのソリューションが効果的な視覚表現を生成できることを示している。 マルチヘッドコンテキストアグリゲーションのための汎用ビルディングブロックCONText Ion NERtwokを提案する。 より大規模な入力画像解像度に依存する下流タスクにはスケールしないTransformerベースの手法とは対照的に、当社の効率的なネットワークであるModellightは、オブジェクト検出やインスタンスセグメンテーションネットワークに利用することができる。
  論文  参考訳（メタデータ） (2021-06-02T18:09:11Z)
• PocketNet: A Smaller Neural Network for 3D Medical Image Segmentation [0.0]
  私たちは、パラメータの数の3%未満を使用しながら、従来のCNNに匹敵するセグメンテーション結果を達成するPocketNetと呼ばれる新しいCNNアーキテクチャを導き出します。 我々は,PocketNetが従来のCNNに匹敵するセグメンテーション結果を達成し,パラメータ数の3%未満を用いていることを示す。
  論文  参考訳（メタデータ） (2021-04-21T20:10:30Z)
• An Alternative Practice of Tropical Convolution to Traditional Convolutional Neural Networks [0.5837881923712392]
  トロピカル畳み込みニューラルネットワーク (TCNNs) と呼ばれる新しいタイプのCNNを提案する。 TCNNは、従来の畳み込み層における乗算と加算をそれぞれ加算とmin/max演算に置き換える熱帯畳み込みの上に構築されている。 我々は,MNIST と CIFAR10 の画像データセットにおいて,通常の畳み込み層よりも表現力が高いことを示す。
  論文  参考訳（メタデータ） (2021-03-03T00:13:30Z)
• MGIC: Multigrid-in-Channels Neural Network Architectures [8.459177309094688]
  本稿では,標準畳み込みニューラルネットワーク(CNN)におけるチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド・イン・チャネル手法を提案する。 近年の軽量CNNの成功にともなうCNNの冗長性に対処する。
  論文  参考訳（メタデータ） (2020-11-17T11:29:10Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。