論文の概要: Tensor network compressibility of convolutional models

• arxiv url: http://arxiv.org/abs/2403.14379v1
• Date: Thu, 21 Mar 2024 13:12:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 14:18:45.489225
• Title: Tensor network compressibility of convolutional models
• Title（参考訳）: 畳み込みモデルのテンソルネットワーク圧縮性
• Authors: Sukhbinder Singh, Saeed S. Jahromi, Roman Orus,
• Abstract要約: 我々は、高密度(拡張されていない)CNNの畳み込みカーネルが精度にどのように影響するかを評価する。 カーネルはしばしばいくつかのカットに沿って切り替わることができ、カーネルノルムは著しく低下するが、分類精度は低下しないことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) represent one of the most widely used neural network architectures, showcasing state-of-the-art performance in computer vision tasks. Although larger CNNs generally exhibit higher accuracy, their size can be effectively reduced by "tensorization" while maintaining accuracy. Tensorization consists of replacing the convolution kernels with compact decompositions such as Tucker, Canonical Polyadic decompositions, or quantum-inspired decompositions such as matrix product states, and directly training the factors in the decompositions to bias the learning towards low-rank decompositions. But why doesn't tensorization seem to impact the accuracy adversely? We explore this by assessing how truncating the convolution kernels of dense (untensorized) CNNs impact their accuracy. Specifically, we truncated the kernels of (i) a vanilla four-layer CNN and (ii) ResNet-50 pre-trained for image classification on CIFAR-10 and CIFAR-100 datasets. We found that kernels (especially those inside deeper layers) could often be truncated along several cuts resulting in significant loss in kernel norm but not in classification accuracy. This suggests that such ``correlation compression'' (underlying tensorization) is an intrinsic feature of how information is encoded in dense CNNs. We also found that aggressively truncated models could often recover the pre-truncation accuracy after only a few epochs of re-training, suggesting that compressing the internal correlations of convolution layers does not often transport the model to a worse minimum. Our results can be applied to tensorize and compress CNN models more effectively.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンタスクにおける最先端のパフォーマンスを示す最も広く使われているニューラルネットワークアーキテクチャの1つである。 より大きなCNNは一般的に高い精度を示すが、そのサイズは精度を維持しながら「拡張」によって効果的に縮小することができる。 テンソル化は、コンボリューション核をタッカー、カノニカルポリアディック分解、行列積状態などの量子誘発分解などのコンパクトな分解に置き換え、分解の要因を直接訓練することで、学習を低階分解に偏らせる。 しかし、なぜテンソル化が精度に悪影響を及ぼさないのか? 我々は、高密度(拡張されていない)CNNの畳み込みカーネルが精度にどのように影響するかを評価することで、これを調査する。 具体的には カーネルを切断し (i)バニラ4層CNN及び (II) CIFAR-10およびCIFAR-100データセットの画像分類のために事前訓練されたResNet-50。 カーネル(特に深い層内)は、しばしばいくつかのカットに沿って切り離され、カーネルノルムは著しく低下するが、分類精度は低下しない。 このような'correlation compression''(テンソル化の下で)は、密集したCNNで情報をエンコードする方法の固有の特徴であることを示している。 また, 畳み込み層の内部相関を圧縮すると, モデルが最小限に抑えられなくなることが示唆された。 この結果はCNNモデルをより効果的にテンソル化・圧縮するために応用できる。

関連論文リスト

• Benign Overfitting in Two-Layer ReLU Convolutional Neural Networks for XOR Data [24.86314525762012]
  勾配降下法により訓練されたReLU CNNがベイズ最適精度付近で実現できることを示す。 以上の結果から,CNNは高い相関性のある特徴が存在する場合でも,効率よくXOR問題を学習する能力を有することが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-03T11:31:37Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Examining and Mitigating Kernel Saturation in Convolutional Neural Networks using Negative Images [0.8594140167290097]
  CNNにおける畳み込みカーネル飽和の影響を解析する。 トレーニングデータセットに負の画像を追加することで、飽和を緩和し、分類精度を高めるための単純なデータ増強技術を提案する。 以上の結果から,CNNは畳み込みカーネル飽和の影響を受けやすく,トレーニングデータセットに負のイメージを補うことで,分類精度が統計的に顕著に向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-05-10T06:06:49Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network [19.717842489217684]
  本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。 本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。 画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-12T17:10:12Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。