論文の概要: Tensor decomposition to Compress Convolutional Layers in Deep Learning
- arxiv url: http://arxiv.org/abs/2005.13746v2
- Date: Mon, 31 May 2021 01:53:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-27 04:35:03.598368
- Title: Tensor decomposition to Compress Convolutional Layers in Deep Learning
- Title（参考訳）: 深層学習におけるテンソル分解と畳み込み層圧縮
- Authors: Yinan Wang, Weihong "Grace" Guo, Xiaowei Yue
- Abstract要約: 本稿では,CP分解法を用いて,ディープラーニングにおける畳み込み層(CPAC-Conv層)を近似的に圧縮することを提案する。
提案するCPAC-Conv層に対して, 提案したCPAC-Conv層に対して, 提案したCPAC-Conv層を圧縮するためにCP分解を適用し, 提案したCPAC-Conv層と比較して, 提案したCPAC-Conv層は, 予測性能を損なうことなくパラメータ数を減少させることができ, (3) 分解されたカーネルの値は, 対応する特徴写像の意義を示す。
- 参考スコア（独自算出の注目度）: 5.199454801210509
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature extraction for tensor data serves as an important step in many tasks
such as anomaly detection, process monitoring, image classification, and
quality control. Although many methods have been proposed for tensor feature
extraction, there are still two challenges that need to be addressed: 1) how to
reduce the computation cost for high dimensional and large volume tensor data;
2) how to interpret the output features and evaluate their significance. {The
most recent methods in deep learning, such as Convolutional Neural Network
(CNN), have shown outstanding performance in analyzing tensor data, but their
wide adoption is still hindered by model complexity and lack of
interpretability. To fill this research gap, we propose to use CP-decomposition
to approximately compress the convolutional layer (CPAC-Conv layer) in deep
learning. The contributions of our work could be summarized into three aspects:
(1) we adapt CP-decomposition to compress convolutional kernels and derive the
expressions of both forward and backward propagations for our proposed
CPAC-Conv layer; (2) compared with the original convolutional layer, the
proposed CPAC-Conv layer can reduce the number of parameters without decaying
prediction performance. It can combine with other layers to build novel deep
Neural Networks; (3) the value of decomposed kernels indicates the significance
of the corresponding feature map, which provides us with insights to guide
feature selection.
- Abstract（参考訳）: テンソルデータの特徴抽出は、異常検出、プロセス監視、画像分類、品質管理といった多くのタスクにおいて重要なステップとなる。
テンソル特徴抽出のための多くの方法が提案されているが、対処すべき課題は2つある。
1)高次元および大体積テンソルデータに対する計算コストの削減方法
2)出力特徴を解釈し,その意義を評価する方法。
convolutional neural network(cnn)のようなディープラーニングの最新の手法は、テンソルデータの解析において優れたパフォーマンスを示しているが、モデルの複雑さと解釈可能性の欠如によって、広く採用されている。
この研究ギャップを埋めるために,我々はCP分解を用いて,ディープラーニングにおける畳み込み層(CPAC-Conv層)を近似的に圧縮することを提案する。
その結果,(1)cp-デコンポジションを圧縮畳み込みカーネルに適用し,提案するcpac-conv層の前方および後方伝播の表現を導出する,(2)従来の畳み込み層と比較して,提案するcpac-conv層は予測性能を低下させることなくパラメータ数を削減できる,という3つの側面にまとめられた。
新しいディープニューラルネットワークを構築するために他のレイヤと組み合わせることができる。(3) 分解されたカーネルの価値は、対応するフィーチャーマップの重要性を示し、特徴選択をガイドするための洞察を提供する。
関連論文リスト
- Initialization Matters: On the Benign Overfitting of Two-Layer ReLU CNN with Fully Trainable Layers [20.25049261035324]
解析は、完全にトレーニング可能な層を持つ2層ReLU畳み込みニューラルネットワーク(CNN)に拡張する。
以上の結果から,出力層のスケーリングがトレーニングのダイナミックスに不可欠であることが示唆された。
どちらの設定でも、テストエラーの上限と下限にほぼ一致するものを提供します。
論文 参考訳（メタデータ） (2024-10-24T20:15:45Z) - Kernel function impact on convolutional neural networks [10.98068123467568]
畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。
より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。
完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
論文 参考訳（メタデータ） (2023-02-20T19:57:01Z) - Shallow Network Based on Depthwise Over-Parameterized Convolution for
Hyperspectral Image Classification [0.7329200485567825]
本稿では,畳み込みニューラルネットワーク(CNN)を用いたハイパースペクトル画像分類(HSIC)の浅層モデルを提案する。
提案手法は、分類精度と計算効率の観点から、他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2021-12-01T03:10:02Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep
Learning [79.89085533866071]
本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。
DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。
大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
論文 参考訳（メタデータ） (2021-02-05T11:31:24Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Sparse Coding Driven Deep Decision Tree Ensembles for Nuclear
Segmentation in Digital Pathology Images [15.236873250912062]
デジタル病理画像セグメンテーションタスクにおいて、ディープニューラルネットワークと高い競争力を持つ、容易に訓練されながら強力な表現学習手法を提案する。
ScD2TEと略すこの手法はスパースコーディング駆動の深層決定木アンサンブルと呼ばれ、表現学習の新しい視点を提供する。
論文 参考訳（メタデータ） (2020-08-13T02:59:31Z) - DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。
従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-06-22T06:57:10Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳（メタデータ） (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。