論文の概要: ThriftyNets : Convolutional Neural Networks with Tiny Parameter Budget
- arxiv url: http://arxiv.org/abs/2007.10106v1
- Date: Mon, 20 Jul 2020 13:50:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 12:41:09.682957
- Title: ThriftyNets : Convolutional Neural Networks with Tiny Parameter Budget
- Title（参考訳）: ThriftyNets : Tinyパラメータ予算を持つ畳み込みニューラルネットワーク
- Authors: Guillaume Coiffier, Ghouthi Boukli Hacene, Vincent Gripon
- Abstract要約: 我々はThriftyNetと呼ばれる新しい畳み込みニューラルネットワークアーキテクチャを提案する。
ThriftyNetでは、1つの畳み込み層のみが再帰的に定義され、最大パラメータの分解に繋がる。
我々は、CIFAR-10で40K未満のパラメータで91%以上の精度で、CIFAR-100で74.3%のパラメータで600K未満のパラメータで競争性能を達成した。
- 参考スコア（独自算出の注目度）: 4.438259529250529
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Typical deep convolutional architectures present an increasing number of
feature maps as we go deeper in the network, whereas spatial resolution of
inputs is decreased through downsampling operations. This means that most of
the parameters lay in the final layers, while a large portion of the
computations are performed by a small fraction of the total parameters in the
first layers. In an effort to use every parameter of a network at its maximum,
we propose a new convolutional neural network architecture, called ThriftyNet.
In ThriftyNet, only one convolutional layer is defined and used recursively,
leading to a maximal parameter factorization. In complement, normalization,
non-linearities, downsamplings and shortcut ensure sufficient expressivity of
the model. ThriftyNet achieves competitive performance on a tiny parameters
budget, exceeding 91% accuracy on CIFAR-10 with less than 40K parameters in
total, and 74.3% on CIFAR-100 with less than 600K parameters.
- Abstract（参考訳）: 典型的な深層畳み込みアーキテクチャでは,ネットワークの深層化に伴って特徴マップの数が増加する一方,ダウンサンプリング操作によって入力の空間分解能は低下する。
これは、ほとんどのパラメータが最終層に配置され、計算の大部分が第1層のパラメータのごく一部によって実行されることを意味する。
ネットワークのパラメータを最大化するために、ThriftyNetと呼ばれる新しい畳み込みニューラルネットワークアーキテクチャを提案する。
ThriftyNetでは、1つの畳み込み層のみが再帰的に定義され、最大パラメータ分解をもたらす。
補数において、正規化、非線形性、ダウンサンプリング、近道はモデルの十分な表現性を保証する。
ThriftyNetは、CIFAR-10で40K未満のパラメータで91%の精度で、CIFAR-100で74.3%のパラメータで600K未満のパラメータで競争性能を達成している。
関連論文リスト
- Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。
本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。
スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
論文 参考訳（メタデータ） (2024-04-06T21:33:39Z) - Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳（メタデータ） (2024-02-27T11:52:49Z) - Compressing neural network by tensor network with exponentially fewer variational parameters [4.373746415510521]
機械学習タスクに挑戦するために設計されたニューラルネットワーク(NN)には、膨大な変動パラメータが含まれている。
本稿では, NNの変分パラメータを自己微分可能なテンソルネットワーク(ADTN)に符号化することにより, NNの変動パラメータを著しく低減する汎用圧縮手法を提案する。
我々の研究は、TNがNNの変動パラメータを表現するのに非常に効率的な数学的構造であることを示唆している。
論文 参考訳（メタデータ） (2023-05-10T11:24:27Z) - Frequency Regularization: Restricting Information Redundancy of
Convolutional Neural Networks [6.387263468033964]
畳み込みニューラルネットワークは多くのコンピュータビジョンタスクにおいて印象的な結果を示している。
これらのネットワークのサイズが大きくなると、大量のネットワークパラメータが原因で、情報の過負荷が懸念される。
周波数領域におけるネットワークパラメータの非ゼロ要素を制限するために周波数規則化を提案する。
論文 参考訳（メタデータ） (2023-04-17T03:32:29Z) - A Directed-Evolution Method for Sparsification and Compression of Neural
Networks with Application to Object Identification and Segmentation and
considerations of optimal quantization using small number of bits [0.0]
この研究は、ニューラルネットワークのスパーシフィケーションのためのDirected-Evolution法を紹介する。
ネットワーク精度に対するパラメータの関連性を直接評価する。
仮にゼロになったときの精度に最小の影響をもたらすパラメータは、実際にはゼロである。
論文 参考訳（メタデータ） (2022-06-12T23:49:08Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - NeuralScale: Efficient Scaling of Neurons for Resource-Constrained Deep
Neural Networks [16.518667634574026]
精度を最大化する固定ネットワークアーキテクチャのニューロン(フィルタ)構成を探索する。
パラメータの変化に関して各層のニューロン(フィルタ)数の変化をパラメータ化することにより、任意のサイズのアーキテクチャを効率的にスケールすることができる。
論文 参考訳（メタデータ） (2020-06-23T08:14:02Z) - Neural Parameter Allocation Search [57.190693718951316]
ニューラルネットワークのトレーニングには、メモリの量を増やす必要がある。
既存の手法では、ネットワークには多くの同一層があり、一般化に失敗する手作りの共有戦略を利用する。
我々は、任意のパラメータ予算を与えられたニューラルネットワークをトレーニングする新しいタスクであるNPAS(Neural Allocation Search)を紹介する。
NPASは、コンパクトネットワークを創出する低予算体制と、推論FLOPを増大させることなく性能を高めるために、新たな高予算体制の両方をカバーしている。
論文 参考訳（メタデータ） (2020-06-18T15:01:00Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z) - Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。
我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-03-12T07:00:46Z) - Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。
われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。
CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文 参考訳（メタデータ） (2020-01-23T13:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。