論文の概要: Rescaling CNN through Learnable Repetition of Network Parameters

• arxiv url: http://arxiv.org/abs/2101.05650v1
• Date: Thu, 14 Jan 2021 15:03:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 05:39:15.852976
• Title: Rescaling CNN through Learnable Repetition of Network Parameters
• Title（参考訳）: ネットワークパラメータの学習可能な繰り返しによるCNNの再スケーリング
• Authors: Arnav Chavan, Udbhav Bamba, Rishabh Tiwari, Deepak Gupta
• Abstract要約: CNNのパラメータの学習可能な反復に基づく新しい再スケーリング戦略を提案する。 小ベースネットワークが再スケールされると、より深いネットワークの最適化パラメータの6%以下で、より深いネットワークに匹敵するパフォーマンスを提供できることを示す。
• 参考スコア（独自算出の注目度）: 2.137666194897132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deeper and wider CNNs are known to provide improved performance for deep learning tasks. However, most such networks have poor performance gain per parameter increase. In this paper, we investigate whether the gain observed in deeper models is purely due to the addition of more optimization parameters or whether the physical size of the network as well plays a role. Further, we present a novel rescaling strategy for CNNs based on learnable repetition of its parameters. Based on this strategy, we rescale CNNs without changing their parameter count, and show that learnable sharing of weights itself can provide significant boost in the performance of any given model without changing its parameter count. We show that small base networks when rescaled, can provide performance comparable to deeper networks with as low as 6% of optimization parameters of the deeper one. The relevance of weight sharing is further highlighted through the example of group-equivariant CNNs. We show that the significant improvements obtained with group-equivariant CNNs over the regular CNNs on classification problems are only partly due to the added equivariance property, and part of it comes from the learnable repetition of network weights. For rot-MNIST dataset, we show that up to 40% of the relative gain reported by state-of-the-art methods for rotation equivariance could actually be due to just the learnt repetition of weights.
• Abstract（参考訳）: より深く広いCNNは、ディープラーニングタスクのパフォーマンスを向上させることが知られている。 しかし、ほとんどのネットワークはパラメータの増加ごとに性能が向上しない。 本稿では,より深いモデルで観測される利得が,単に最適化パラメータの追加によるものなのか,あるいはネットワークの物理サイズが果たす役割があるのかを検討する。 さらに,学習可能なパラメータ繰り返しに基づくcnnの新たな再スケーリング戦略を提案する。 この戦略に基づき、パラメータ数を変更することなくcnnをリスケールし、重みの学習可能な共有によってパラメータ数を変更することなく任意のモデルのパフォーマンスが大幅に向上することを示す。 小ベースネットワークが再スケールされると、より深いネットワークの最適化パラメータの6%以下で、より深いネットワークに匹敵するパフォーマンスを提供できることを示す。 重み共有の関連性はさらに、グループ同変CNNの例を通して強調される。 正規CNNに対するグループ同変CNNによる分類問題に対する顕著な改善は、部分的には同値性の追加によるものであり、その一部は学習可能なネットワーク重みの反復によるものであることを示す。 rot-MNISTデータセットの場合、現状の回転同値法によって報告された相対的な利得の最大40%は、単に学習された重みの繰り返しによるものである可能性があることを示す。

関連論文リスト

• Improving the Accuracy and Robustness of CNNs Using a Deep CCA Neural Data Regularizer [2.026424957803652]
  畳み込みニューラルネットワーク(CNN)がオブジェクト認識においてより正確になるにつれて、それらの表現は霊長類の視覚システムとよりよく似ている。 この問題に対処する以前の試みは、正規化法の制限により、精度が極端に向上した。 我々は,CNNのイメージ表現とサル視覚野との類似性を最適化するために,ディープ相関解析(DCCA)を用いた新しいCNN用ニューラルデータ正規化器を開発した。
  論文  参考訳（メタデータ） (2022-09-06T15:40:39Z)
• Fusion of CNNs and statistical indicators to improve image classification [65.51757376525798]
  畳み込みネットワークは過去10年間、コンピュータビジョンの分野を支配してきた。 この傾向を長引かせる主要な戦略は、ネットワーク規模の拡大によるものだ。 我々は、異種情報ソースを追加することは、より大きなネットワークを構築するよりもCNNにとって費用対効果が高いと仮定している。
  論文  参考訳（メタデータ） (2020-12-20T23:24:31Z)
• Towards Better Accuracy-efficiency Trade-offs: Divide and Co-training [24.586453683904487]
  ネットワーク数(アンサンブル)の増加は、幅を純粋に増やすよりも、精度と効率のトレードオフを達成できると主張している。 小さなネットワークは、パラメータやFLOPがほとんどあるいは全くない大きなネットワークよりも、より優れたアンサンブル性能を実現することができる。
  論文  参考訳（メタデータ） (2020-11-30T10:03:34Z)
• MGIC: Multigrid-in-Channels Neural Network Architectures [8.459177309094688]
  本稿では,標準畳み込みニューラルネットワーク(CNN)におけるチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド・イン・チャネル手法を提案する。 近年の軽量CNNの成功にともなうCNNの冗長性に対処する。
  論文  参考訳（メタデータ） (2020-11-17T11:29:10Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Exploring Deep Hybrid Tensor-to-Vector Network Architectures for Regression Based Speech Enhancement [53.47564132861866]
  我々は、CNN-TTというハイブリッドアーキテクチャが、モデルパラメータを小さくして高品質な性能を維持することができることを見出した。 CNN-TTは、音声品質を改善するために、特徴抽出のために下部に複数の畳み込み層で構成されている。
  論文  参考訳（メタデータ） (2020-07-25T22:21:05Z)
• What Deep CNNs Benefit from Global Covariance Pooling: An Optimization Perspective [102.37204254403038]
  我々は最適化の観点から、GCPの深いCNNのメリットを理解する試みを行っている。 GCPは最適化のランドスケープをよりスムーズにし、勾配をより予測できることを示す。 多様なタスクに対して様々な深部CNNモデルを用いて広範な実験を行い,その結果を強く支持する。
  論文  参考訳（メタデータ） (2020-03-25T07:00:45Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。