論文の概要: Recurrent Parameter Generators

• arxiv url: http://arxiv.org/abs/2107.07110v1
• Date: Thu, 15 Jul 2021 04:23:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-17 02:00:53.473135
• Title: Recurrent Parameter Generators
• Title（参考訳）: リカレントパラメータ生成器
• Authors: Jiayun Wang, Yubei Chen, Stella X. Yu, Brian Cheung, Yann LeCun
• Abstract要約: 本稿では,多くの異なる畳み込み層に対して同じパラメータを反復的に使用してディープネットワークを構築するための汎用的手法を提案する。 我々は,従来のCNNモデルと同じような性能を実現するために,一層ニューラルネットワークを構築する方法を示す。
• 参考スコア（独自算出の注目度）: 42.159272098922685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a generic method for recurrently using the same parameters for many different convolution layers to build a deep network. Specifically, for a network, we create a recurrent parameter generator (RPG), from which the parameters of each convolution layer are generated. Though using recurrent models to build a deep convolutional neural network (CNN) is not entirely new, our method achieves significant performance gain compared to the existing works. We demonstrate how to build a one-layer neural network to achieve similar performance compared to other traditional CNN models on various applications and datasets. Such a method allows us to build an arbitrarily complex neural network with any amount of parameters. For example, we build a ResNet34 with model parameters reduced by more than $400$ times, which still achieves $41.6\%$ ImageNet top-1 accuracy. Furthermore, we demonstrate the RPG can be applied at different scales, such as layers, blocks, or even sub-networks. Specifically, we use the RPG to build a ResNet18 network with the number of weights equivalent to one convolutional layer of a conventional ResNet and show this model can achieve $67.2\%$ ImageNet top-1 accuracy. The proposed method can be viewed as an inverse approach to model compression. Rather than removing the unused parameters from a large model, it aims to squeeze more information into a small number of parameters. Extensive experiment results are provided to demonstrate the power of the proposed recurrent parameter generator.
• Abstract（参考訳）: 本稿では,同じパラメータを様々な畳み込み層に対して再帰的に使用する汎用的手法を提案する。 具体的には、ネットワークに対して、各畳み込み層のパラメータを生成するリカレントパラメータジェネレータ(RPG)を作成する。 再帰モデルを用いて深層畳み込みニューラルネットワーク(CNN)を構築することは、全く新しいことではないが、本手法は既存の研究と比べて大きな性能向上を達成する。 我々は,従来のcnnモデルと同等の性能を実現するために,様々なアプリケーションやデータセット上で一層ニューラルネットワークを構築する方法を示す。 このような方法で任意のパラメータを持つ任意の複雑なニューラルネットワークを構築することができる。 例えば、モデルパラメータを400ドル以上削減したresnet34を構築しています。 さらに,レイヤやブロック,さらにはサブネットワークなど,さまざまなスケールでrpgが適用可能であることを示す。 具体的には、RPGを用いて従来のResNetの畳み込み層に相当する重み数を持つResNet18ネットワークを構築し、このモデルが67.2\%$ ImageNet top-1精度を達成可能であることを示す。 提案手法はモデル圧縮に対する逆アプローチと見なすことができる。 大きなモデルから未使用のパラメータを取り除くのではなく、少数のパラメータにより多くの情報を絞り込むことを目指している。 提案した繰り返しパラメータジェネレータのパワーを実証するための実験結果が概説された。

関連論文リスト

• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Hidden-Fold Networks: Random Recurrent Residuals Using Sparse Supermasks [1.0814638303152528]
  ディープニューラルネットワーク(DNN)は過度にパラメータ化されているため、最近の研究で、高い精度でサブネットワークを含むことが判明した。 本稿では,これらの研究の行を高度に圧縮されながら正確なモデルにブレンドすることを提案する:Hedden-Fold Networks (HFNs)。 CIFAR100のResNet50と同等の性能を実現し、メモリは38.5倍、ImageNetのResNet34は26.8倍小さい。
  論文  参考訳（メタデータ） (2021-11-24T08:24:31Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• NeuralScale: Efficient Scaling of Neurons for Resource-Constrained Deep Neural Networks [16.518667634574026]
  精度を最大化する固定ネットワークアーキテクチャのニューロン(フィルタ)構成を探索する。 パラメータの変化に関して各層のニューロン(フィルタ)数の変化をパラメータ化することにより、任意のサイズのアーキテクチャを効率的にスケールすることができる。
  論文  参考訳（メタデータ） (2020-06-23T08:14:02Z)
• Multigrid-in-Channels Architectures for Wide Convolutional Neural Networks [6.929025509877642]
  本稿では,標準畳み込みニューラルネットワーク(CNN)のチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド手法を提案する。 教師付き画像分類の例では、この戦略を残差ネットワークに適用し、MobileNetV2は精度に悪影響を及ぼすことなくパラメータ数を著しく削減している。
  論文  参考訳（メタデータ） (2020-06-11T20:28:36Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。