論文の概要: Hierarchical Group Sparse Regularization for Deep Convolutional Neural
Networks
- arxiv url: http://arxiv.org/abs/2004.04394v1
- Date: Thu, 9 Apr 2020 07:27:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 02:19:58.104831
- Title: Hierarchical Group Sparse Regularization for Deep Convolutional Neural
Networks
- Title（参考訳）: ディープ畳み込みニューラルネットワークのための階層群スパース正規化
- Authors: Kakeru Mitsuno, Junichi Miyao and Takio Kurita
- Abstract要約: ディープニューラルネットワーク(DNN)では、パラメータの数は通常、高い学習性能を得るために膨大である。
いくつかのパラメータは冗長であり、性能を低下させることなくネットワークから削除できることが知られている。
本稿では,この問題を解決するために階層的グループ化の概念を紹介する。
- 参考スコア（独自算出の注目度）: 3.0165431987188245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In a deep neural network (DNN), the number of the parameters is usually huge
to get high learning performances. For that reason, it costs a lot of memory
and substantial computational resources, and also causes overfitting. It is
known that some parameters are redundant and can be removed from the network
without decreasing performance. Many sparse regularization criteria have been
proposed to solve this problem. In a convolutional neural network (CNN), group
sparse regularizations are often used to remove unnecessary subsets of the
weights, such as filters or channels. When we apply a group sparse
regularization for the weights connected to a neuron as a group, each
convolution filter is not treated as a target group in the regularization. In
this paper, we introduce the concept of hierarchical grouping to solve this
problem, and we propose several hierarchical group sparse regularization
criteria for CNNs. Our proposed the hierarchical group sparse regularization
can treat the weight for the input-neuron or the output-neuron as a group and
convolutional filter as a group in the same group to prune the unnecessary
subsets of weights. As a result, we can prune the weights more adequately
depending on the structure of the network and the number of channels keeping
high performance. In the experiment, we investigate the effectiveness of the
proposed sparse regularizations through intensive comparison experiments on
public datasets with several network architectures. Code is available on
GitHub: "https://github.com/K-Mitsuno/hierarchical-group-sparse-regularization"
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)では、パラメータの数は通常、高い学習性能を得るために膨大である。
そのため、多くのメモリとかなりの計算リソースがかかり、また過剰に適合する原因となる。
いくつかのパラメータは冗長であり、性能を低下させることなくネットワークから削除できることが知られている。
多くのスパース正規化基準がこの問題を解決するために提案されている。
畳み込みニューラルネットワーク(CNN)では、フィルタやチャネルなどの余分な重みのサブセットを取り除くために、群スパース正規化がしばしば使用される。
ニューロンに連結された重みに対する群スパース正規化を群として適用すると、各畳み込みフィルタは正規化において対象群として扱われない。
本稿では,この問題を解決するために階層的グループ化の概念を導入し,cnnの階層的グループスパース正規化基準を提案する。
提案する階層群スパース正規化は、入力ニューロンまたは出力ニューロンの重みを群として、畳み込みフィルタを同じ群の群として扱い、重みの不要な部分集合を損なうことができる。
その結果、ネットワークの構造や高い性能を維持するチャネル数によって、より適切に重み付けを行うことができる。
本実験では,複数のネットワークアーキテクチャを持つ公開データセットを対象とした集中的な比較実験により,スパース正規化の有効性を検討した。
コードはgithubで入手できる。 "https://github.com/k-mitsuno/hierarchical-group-sparse-regularization"
関連論文リスト
- Norm-based Generalization Bounds for Compositionally Sparse Neural
Networks [11.987589603961622]
畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。
これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
論文 参考訳（メタデータ） (2023-01-28T00:06:22Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳（メタデータ） (2022-08-01T17:19:32Z) - Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。
問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。
提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
論文 参考訳（メタデータ） (2022-05-13T00:28:35Z) - Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical
Guarantees and Implementation Details [0.5156484100374059]
スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。
本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。
本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
論文 参考訳（メタデータ） (2021-08-25T00:48:07Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Filter Pruning using Hierarchical Group Sparse Regularization for Deep
Convolutional Neural Networks [3.5636461829966093]
階層型群スパース正規化を用いたフィルタプルーニング法を提案する。
CIFAR-10ではResNetの50%以上のパラメータを削減できるが、テストサンプルの精度は0.3%しか低下しない。
また、TinyImageNet-200では、ResNetの34%のパラメータがベースラインネットワークよりも高い精度で削減されている。
論文 参考訳（メタデータ） (2020-11-04T16:29:41Z) - Permute, Quantize, and Fine-tune: Efficient Compression of Neural
Networks [70.0243910593064]
ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。
本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。
次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
論文 参考訳（メタデータ） (2020-10-29T15:47:26Z) - Self-grouping Convolutional Neural Networks [30.732298624941738]
本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。
各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。
得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
論文 参考訳（メタデータ） (2020-09-29T06:24:32Z) - Towards Deeper Graph Neural Networks with Differentiable Group
Normalization [61.20639338417576]
グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。
オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。
2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
論文 参考訳（メタデータ） (2020-06-12T07:18:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。