Fugu-MT 論文翻訳(概要): Leveraging Structured Pruning of Convolutional Neural Networks

論文の概要: Leveraging Structured Pruning of Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2206.06247v1
Date: Mon, 13 Jun 2022 15:29:12 GMT
ステータス: 処理完了
システム内更新日: 2022-06-27 00:35:08.854918
Title: Leveraging Structured Pruning of Convolutional Neural Networks
Title（参考訳）: 畳み込みニューラルネットワークの構造化プルーニングの活用
Authors: Hugo Tessier, Vincent Gripon, Mathieu L\'eonardon, Matthieu Arzel, David Bertrand, Thomas Hannagan
Abstract要約: 本稿では,任意の構造化プルーニングマスクを用いて,これらの問題に遭遇しないネットワークを生成する手法を提案する。我々は, 畳み込み畳み込みニューラルネットワークによる, 組込みハードウェア上でのエネルギー消費と推定時間の利得を示す。
参考スコア（独自算出の注目度）: 2.2320512724449233
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Structured pruning is a popular method to reduce the cost of convolutional neural networks, that are the state of the art in many computer vision tasks. However, depending on the architecture, pruning introduces dimensional discrepancies which prevent the actual reduction of pruned networks. To tackle this problem, we propose a method that is able to take any structured pruning mask and generate a network that does not encounter any of these problems and can be leveraged efficiently. We provide an accurate description of our solution and show results of gains, in energy consumption and inference time on embedded hardware, of pruned convolutional neural networks.
Abstract（参考訳）: 構造化プルーニングは、多くのコンピュータビジョンタスクにおける最先端技術である畳み込みニューラルネットワークのコストを削減する一般的な方法である。しかし、アーキテクチャによっては、プルーニングは、実際のプルーニングネットワークの減少を防ぐ次元的な相違をもたらす。この問題に対処するため,我々は,構造化されたプルーニングマスクを取り込んで,これらの問題に遭遇せず,効率的に活用できるネットワークを生成する手法を提案する。筆者らは,提案手法の正確な説明を行い, 畳み込み畳み込みニューラルネットワークの, 組込みハードウェア上でのエネルギー消費と推論時間におけるゲイン結果を示す。

関連論文リスト

Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
SieveNet: Selecting Point-Based Features for Mesh Networks [41.74190660234404]
メッシュは3Dコンピュータビジョンとグラフィックスで広く使用されているが、その不規則なトポロジは、既存のニューラルネットワークアーキテクチャに適用する際の課題を提起している。メッシュニューラルネットワークの最近の進歩は、生メッシュを入力としてのみ取り込むパイオニアメソッドの境界を押し付けている。本稿では、正規位相と正確な幾何学の両方を考慮した新しいパラダイムであるSieveNetを提案する。
論文参考訳（メタデータ） (2023-08-24T03:40:16Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
ResNet Structure Simplification with the Convolutional Kernel Redundancy Measure [3.8637285238278434]
本稿では,ネットワーク構造の単純化を導くための定量評価手法である畳み込みカーネル冗長度尺度を提案する。提案手法は,ネットワークの性能を維持し,パラメータ数を2300万ドル以上から128ドル程度に削減できる。
論文参考訳（メタデータ） (2022-12-01T04:29:28Z)
Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures [4.836352379142503]
Kronecker積分解の高速行列乗算に基づく新しいディープラーニングアーキテクチャを提案する。このアーキテクチャにより、ニューラルネットワークのトレーニングと実装が可能になり、計算時間とリソースが大幅に削減されることを示す。
論文参考訳（メタデータ） (2022-04-08T19:54:52Z)
Building Compact and Robust Deep Neural Networks with Toeplitz Matrices [93.05076144491146]
この論文は、コンパクトで、訓練が容易で、信頼性があり、敵の例に対して堅牢なニューラルネットワークを訓練する問題に焦点を当てている。 Toeplitzファミリーの構造化行列の特性を利用して、コンパクトでセキュアなニューラルネットワークを構築する。
論文参考訳（メタデータ） (2021-09-02T13:58:12Z)
Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文参考訳（メタデータ） (2020-08-06T04:38:38Z)
Weight Pruning via Adaptive Sparsity Loss [31.978830843036658]
近年、最先端のディープニューラルネットワークを圧縮する手段として、プルーニングニューラルネットワークが注目を集めている。本稿では,ネットワークパラメータを最小限の計算オーバーヘッドで効率的に学習する頑健な学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-04T10:55:16Z)
Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文参考訳（メタデータ） (2020-03-31T16:47:20Z)
Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。上記の問題に対処するための特徴歪み法(Disout)を提案する。より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文参考訳（メタデータ） (2020-02-23T13:59:13Z)
Knapsack Pruning with Inner Distillation [11.04321604965426]
そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
論文参考訳（メタデータ） (2020-02-19T16:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。