論文の概要: Learnable Heterogeneous Convolution: Learning both topology and strength
- arxiv url: http://arxiv.org/abs/2301.05440v1
- Date: Fri, 13 Jan 2023 08:48:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 14:43:28.201922
- Title: Learnable Heterogeneous Convolution: Learning both topology and strength
- Title（参考訳）: 学習可能な不均一畳み込み:トポロジーと強度の両方を学ぶ
- Authors: Rongzhen Zhao, Zhenzhi Wu, Qikun Zhang
- Abstract要約: 学習可能な異種共進化は、カーネルの形状と重みの合同学習を実現する。
本手法に基づくモデルでは, 構造的スパース重みに収束することができる。
VGG16/19とResNet34/50の計算をCIFAR10では5倍、ImageNetでは2倍近く削減する。
- 参考スコア（独自算出の注目度）: 0.5801044612920815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing convolution techniques in artificial neural networks suffer from
huge computation complexity, while the biological neural network works in a
much more powerful yet efficient way. Inspired by the biological plasticity of
dendritic topology and synaptic strength, our method, Learnable Heterogeneous
Convolution, realizes joint learning of kernel shape and weights, which unifies
existing handcrafted convolution techniques in a data-driven way. A model based
on our method can converge with structural sparse weights and then be
accelerated by devices of high parallelism. In the experiments, our method
either reduces VGG16/19 and ResNet34/50 computation by nearly 5x on CIFAR10 and
2x on ImageNet without harming the performance, where the weights are
compressed by 10x and 4x respectively; or improves the accuracy by up to 1.0%
on CIFAR10 and 0.5% on ImageNet with slightly higher efficiency. The code will
be available on www.github.com/Genera1Z/LearnableHeterogeneousConvolution.
- Abstract（参考訳）: 既存のニューラルネットワークの畳み込み技術は計算の複雑さが大きく、生物学的ニューラルネットワークはより強力で効率的な方法で機能する。
樹枝状トポロジーの生物学的塑性とシナプス強度から着想を得た本手法は,既存の手作り畳み込み技術をデータ駆動方式で統一したカーネル形状と重みの連成学習を実現する。
本手法に基づくモデルは, 構造的スパース重みで収束し, 高並列性デバイスによって加速される。
実験では,VGG16/19 と ResNet34/50 の計算を CIFAR10 と 2x で約5倍削減し,それぞれ 10x と 4x の重みを圧縮した場合に性能を低下させるか,CIFAR10 で最大1.0%,ImageNet で 0.5% の精度向上を図った。
コードはwww.github.com/Genera1Z/LearnableHeterogeneousConvolutionで入手できる。
関連論文リスト
- Pruning Very Deep Neural Network Channels for Efficient Inference [6.497816402045099]
トレーニングされたCNNモデルを用いて,各層を効果的にプルーする反復的2段階アルゴリズムを提案する。
VGG-16は5倍のスピードアップを実現し、エラーはわずか0.3%増加した。
提案手法は,ResNet,Xceptionなどの現代のネットワークを高速化し,それぞれ2倍のスピードアップで1.4%,1.0%の精度損失を被る。
論文 参考訳（メタデータ） (2022-11-14T06:48:33Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Involution: Inverting the Inherence of Convolution for Visual
Recognition [72.88582255910835]
本稿では,畳み込みの原理を逆転させることにより,深層ニューラルネットワークの新たな原子操作を提案する。
提案する畳み込み演算子は、視覚認識のための新しい世代のニューラルネットワークを構築するための基本ブロックとして利用することができる。
当社のInvolutionベースのモデルは、ResNet-50を使用した畳み込みベースラインのパフォーマンスを最大1.6%の精度、2.5%と2.4%のバウンディングボックスAP、4.7%は絶対にIoUを意味します。
論文 参考訳（メタデータ） (2021-03-10T18:40:46Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。
具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文 参考訳（メタデータ） (2020-08-21T19:35:54Z) - Surrogate-assisted Particle Swarm Optimisation for Evolving
Variable-length Transferable Blocks for Image Classification [8.40112153818812]
畳み込みニューラルネットワークを自動進化させるために,新しい有効サロゲート支援粒子群最適化アルゴリズムを提案する。
提案手法は、CIFAR-10データセットで3.49%、CIFAR-100データセットで18.49%、SVHNデータセットで1.82%の競合エラー率を達成することにより、その効果を示す。
論文 参考訳（メタデータ） (2020-07-03T08:48:21Z) - Cross-filter compression for CNN inference acceleration [4.324080238456531]
畳み込み処理において,$sim32times$メモリと$122times$メモリを節約できる新しいクロスフィルタ圧縮法を提案する。
CIFAR-10 と ImageNet のデータセットを用いて,Binary-Weight と XNOR-Net を別々に評価した。
論文 参考訳（メタデータ） (2020-05-18T19:06:14Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z) - A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。
画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
論文 参考訳（メタデータ） (2020-04-15T17:52:48Z) - Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。
我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。
すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文 参考訳（メタデータ） (2020-03-25T17:54:38Z) - XSepConv: Extremely Separated Convolution [60.90871656244126]
極めて分離された畳み込みブロック(XSepConv)を提案する。
空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。
XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
論文 参考訳（メタデータ） (2020-02-27T11:46:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。