論文の概要: ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution
- arxiv url: http://arxiv.org/abs/2009.02386v1
- Date: Fri, 4 Sep 2020 20:41:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 01:50:51.565879
- Title: ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution
- Title（参考訳）: acdc:原子効率劣化畳み込みにおける重みの共有
- Authors: Ze Wang, Xiuyuan Cheng, Guillermo Sapiro, Qiang Qiu
- Abstract要約: 我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
- 参考スコア（独自算出の注目度）: 57.635467829558664
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional Neural Networks (CNNs) are known to be significantly
over-parametrized, and difficult to interpret, train and adapt. In this paper,
we introduce a structural regularization across convolutional kernels in a CNN.
In our approach, each convolution kernel is first decomposed as 2D dictionary
atoms linearly combined by coefficients. The widely observed correlation and
redundancy in a CNN hint a common low-rank structure among the decomposed
coefficients, which is here further supported by our empirical observations. We
then explicitly regularize CNN kernels by enforcing decomposed coefficients to
be shared across sub-structures, while leaving each sub-structure only its own
dictionary atoms, a few hundreds of parameters typically, which leads to
dramatic model reductions. We explore models with sharing across different
sub-structures to cover a wide range of trade-offs between parameter reduction
and expressiveness. Our proposed regularized network structures open the door
to better interpreting, training and adapting deep models. We validate the
flexibility and compatibility of our method by image classification experiments
on multiple datasets and underlying network structures, and show that CNNs now
maintain performance with dramatic reduction in parameters and computations,
e.g., only 5\% parameters are used in a ResNet-18 to achieve comparable
performance. Further experiments on few-shot classification show that faster
and more robust task adaptation is obtained in comparison with models with
standard convolutions.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、非常に過度にパラメータ化され、解釈、訓練、適応が難しいことが知られている。
本稿では,CNNにおける畳み込みカーネル間の構造正則化を提案する。
提案手法では、各畳み込みカーネルを2次元辞書原子として係数で線形に分解する。
広範に観察されたCNNの相関関係と冗長性は、分解係数の共通低ランク構造を示唆しており、これは我々の経験的観察によってさらに裏付けられている。
次に,部分構造間で共有される分解係数を強制することによって,cnnカーネルを明示的に規則化すると同時に,各サブ構造を独自の辞書原子のみとして残し,数百のパラメータを典型的に残し,劇的なモデル削減に繋がる。
パラメータ還元と表現性の間の幅広いトレードオフをカバーするために,異なるサブ構造間での共有モデルを検討する。
提案する正規化ネットワーク構造は,深いモデルを解釈,訓練,適応するための扉を開く。
我々は,複数のデータセットと基盤となるネットワーク構造に関する画像分類実験により,本手法の柔軟性と適合性を検証するとともに,CNNがパラメータと計算を劇的に削減して性能を維持していることを示す。
少数ショット分類に関するさらなる実験により、標準畳み込みモデルと比較して高速でロバストなタスク適応が得られた。
関連論文リスト
- Isomorphic Pruning for Vision Models [56.286064975443026]
構造化プルーニングは、冗長なサブ構造を取り除くことによって、ディープニューラルネットワークの計算オーバーヘッドを低減する。
Isomorphic Pruningは、ネットワークアーキテクチャの範囲で有効性を示すシンプルなアプローチである。
論文 参考訳（メタデータ） (2024-07-05T16:14:53Z) - On the rates of convergence for learning with convolutional neural networks [9.772773527230134]
畳み込みニューラルネットワーク(CNN)の1側ゼロパディングと複数のチャネルによる近似と学習能力について検討した。
多くの学習問題におけるCNNに基づく推定器の収束率を導出する。
また、得られた分類率は、いくつかの一般的な設定において極小であることも示している。
論文 参考訳（メタデータ） (2024-03-25T06:42:02Z) - Adaptive aggregation of Monte Carlo augmented decomposed filters for efficient group-equivariant convolutional neural network [0.36122488107441414]
グループ等価畳み込みニューラルネットワーク(G-CNN)は、CNNのデータ効率と性能を向上させるためにパラメータ共有に大きく依存している。
群同変ニューラルネットワークに対する非パラメータ共有手法を提案する。
提案手法は, 拡張フィルタの重み付け和により, 多様なフィルタを適応的に集約する。
論文 参考訳（メタデータ） (2023-05-17T10:18:02Z) - Learning Partial Correlation based Deep Visual Representation for Image
Classification [61.0532370259644]
CNNの新たな構造層としてスパース逆共分散推定(SICE)を定式化する。
本研究は,部分的相関に基づく深部視覚表現を求め,小さなサンプル問題を緩和する。
実験により,本モデルの有効性と優れた分類性能が示された。
論文 参考訳（メタデータ） (2023-04-23T10:09:01Z) - The Power of Linear Combinations: Learning with Random Convolutions [2.0305676256390934]
現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。
これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。
私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
論文 参考訳（メタデータ） (2023-01-26T19:17:10Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳（メタデータ） (2022-08-01T17:19:32Z) - Quantized convolutional neural networks through the lens of partial
differential equations [6.88204255655161]
畳み込みニューラルネットワーク(CNN)の量子化は、CNNの展開に伴う計算負担を軽減するための一般的なアプローチである。
本研究では、PDEに基づく視点と分析を用いて、量子化されたCNNを改善する方法について検討する。
論文 参考訳（メタデータ） (2021-08-31T22:18:52Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳（メタデータ） (2020-08-06T04:38:38Z) - Learning Sparse Filters in Deep Convolutional Neural Networks with a
l1/l2 Pseudo-Norm [5.3791844634527495]
ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。
近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。
フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
論文 参考訳（メタデータ） (2020-07-20T11:56:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。