論文の概要: Towards Efficient Convolutional Network Models with Filter Distribution Templates

• arxiv url: http://arxiv.org/abs/2104.08446v1
• Date: Sat, 17 Apr 2021 04:51:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 13:58:10.717603
• Title: Towards Efficient Convolutional Network Models with Filter Distribution Templates
• Title（参考訳）: フィルタ分布テンプレートを用いた効率的な畳み込みネットワークモデルの構築
• Authors: Ramon Izquierdo-Cordova, Walterio Mayol-Cuevas
• Abstract要約: 機能マップの縮小に伴う深い層でのフィルタ数の増加は畳み込みネットワーク設計において広く採用されているパターンである。 本稿では,フィルタのピラミッド型分布の簡単な実装,直感的,かつ積極的なバリエーションからなるテンプレートセットを提案する。 CIFAR、CINIC10、TinyImagenetデータセットの実験では、テンプレートによって生成されたモデルは、より少ないパラメータとメモリ要求の観点からより効率的であることが示されています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Increasing number of filters in deeper layers when feature maps are decreased is a widely adopted pattern in convolutional network design. It can be found in classical CNN architectures and in automatic discovered models. Even CNS methods commonly explore a selection of multipliers derived from this pyramidal pattern. We defy this practice by introducing a small set of templates consisting of easy to implement, intuitive and aggressive variations of the original pyramidal distribution of filters in VGG and ResNet architectures. Experiments on CIFAR, CINIC10 and TinyImagenet datasets show that models produced by our templates, are more efficient in terms of fewer parameters and memory needs.
• Abstract（参考訳）: 機能マップの縮小に伴う深い層でのフィルタ数の増加は畳み込みネットワーク設計において広く採用されているパターンである。 古典的なCNNアーキテクチャや自動発見されたモデルでも見られる。 CNS法でさえ、このピラミッドパターンから派生した乗数の選択をよく調べる。 本稿では,VGGおよびResNetアーキテクチャにおけるフィルタの当初のピラミッド分布の,実装が容易で直感的でアグレッシブなバリエーションからなるテンプレートセットを導入することで,このプラクティスを否定する。 CIFAR、CINIC10、TinyImagenetデータセットの実験では、テンプレートによって生成されたモデルは、より少ないパラメータとメモリ要求の観点からより効率的であることが示されています。

関連論文リスト

• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• PRANC: Pseudo RAndom Networks for Compacting deep models [22.793523211040682]
  PRANCはディープモデルの大幅なコンパクト化を可能にする。 本研究では,PRANCを用いて画像分類モデルを構築し,関連する暗黙的ニューラルネットワークをコンパクト化することで画像の圧縮を行う。
  論文  参考訳（メタデータ） (2022-06-16T22:03:35Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Structured Model Pruning of Convolutional Networks on Tensor Processing Units [0.0]
  構造化モデルプルーニングは、これらの要求を緩和するための有望なアプローチである。 種々の構造化モデルプルーニング手法とデータセットの精度・効率トレードオフを計測する。 構造化モデルプルーニングは,TPUのモデルメモリ使用量や速度を,精度を損なうことなく大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-07-09T03:41:31Z)
• Global Filter Networks for Image Classification [90.81352483076323]
  本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。 この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-07-01T17:58:16Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Filter Distribution Templates in Convolutional Networks for Image Classification Tasks [0.0]
  我々は,4つのニューラルネットワークモデルにおいて,フィルタの分布に一連の変更を加える。 結果、いくつかのモデルでは精度が8.9%向上し、パラメータが54%減少した。
  論文  参考訳（メタデータ） (2021-04-28T19:47:22Z)
• Convolution Neural Network Hyperparameter Optimization Using Simplified Swarm Optimization [2.322689362836168]
  畳み込みニューラルネットワーク(CNN)はコンピュータビジョンで広く使われている。 パフォーマンスが向上したネットワークアーキテクチャを見つけるのは容易ではない。
  論文  参考訳（メタデータ） (2021-03-06T00:23:27Z)
• Collegial Ensembles [11.64359837358763]
  我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。 また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2020-06-13T16:40:26Z)
• Evolving Normalization-Activation Layers [100.82879448303805]
  我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。 我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
  論文  参考訳（メタデータ） (2020-04-06T19:52:48Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。