論文の概要: Feature Map Similarity Reduction in Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2411.03226v2
• Date: Thu, 22 May 2025 15:47:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:20.839233
• Title: Feature Map Similarity Reduction in Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークにおける特徴マップの類似度低減
• Authors: Zakariae Belmekki, Jun Li, Patrick Reuter, David Antonio Gómez Jáuregui, Karl Jenkins,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は特徴マップの冗長性に悩まされ、非効率なキャパシティ利用につながる。 本稿では,CNNの入力から独立して特徴マップ類似度を低減するための畳み込み類似度法を提案する。
• 参考スコア（独自算出の注目度）: 2.736842252209259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been observed that Convolutional Neural Networks (CNNs) suffer from redundancy in feature maps, leading to inefficient capacity utilization. Efforts to address this issue have largely focused on kernel orthogonality method. In this work, we theoretically and empirically demonstrate that kernel orthogonality does not necessarily lead to a reduction in feature map redundancy. Based on this analysis, we propose the Convolutional Similarity method to reduce feature map similarity, independently of the CNN's input. The Convolutional Similarity can be minimized as either a regularization term or an iterative initialization method. Experimental results show that minimizing Convolutional Similarity not only improves classification accuracy but also accelerates convergence. Furthermore, our method enables the use of significantly smaller models to achieve the same level of performance, promoting a more efficient use of model capacity. Future work will focus on coupling the iterative initialization method with the optimization momentum term and examining the method's impact on generative frameworks.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は特徴マップの冗長性に悩まされ、非効率なキャパシティ利用につながることが観察されている。 この問題に対処する努力は、主にカーネル直交法に焦点を当てている。 本研究では,カーネルの直交性が必ずしも特徴写像の冗長性を減少させるとは限らないことを理論的,実証的に証明する。 そこで本研究では,CNNの入力とは別に,特徴マップの類似度を低減するための畳み込み類似度法を提案する。 畳み込み類似性は、正規化項または反復初期化法として最小化することができる。 実験結果から,畳み込み類似性の最小化は分類精度を向上するだけでなく,収束を加速させることが示された。 さらに,本手法では,モデルキャパシティのより効率的な利用を促進するために,より小型のモデルを使用することが可能である。 今後の研究は、反復初期化法と最適化運動量項を結びつけることに集中し、生成フレームワークへの影響を検討する。

関連論文リスト

• Tensor network compressibility of convolutional models [0.0]
  我々は,CNNの畳み込みカーネル(拡張されていない)が,その精度に与える影響を評価する。 カーネルはしばしばいくつかのカットに沿って切り替わることができ、カーネルノルムは著しく低下するが、分類精度は低下しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T13:12:33Z)
• Learning Partial Correlation based Deep Visual Representation for Image Classification [61.0532370259644]
  CNNの新たな構造層としてスパース逆共分散推定(SICE)を定式化する。 本研究は,部分的相関に基づく深部視覚表現を求め,小さなサンプル問題を緩和する。 実験により,本モデルの有効性と優れた分類性能が示された。
  論文  参考訳（メタデータ） (2023-04-23T10:09:01Z)
• Convolutional neural networks for valid and efficient causal inference [1.5469452301122177]
  畳み込みニューラルネットワーク(CNN)は機械学習アプリケーションで成功している。 治療における平均因果効果の半パラメトリック推定におけるニュアンスモデルへのCNNの適用を検討する。 スウェーデン全人口を対象としたデータを用いて,早期退職が入院に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-01-27T14:16:55Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network [19.717842489217684]
  本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。 本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。 画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-12T17:10:12Z)
• PENNI: Pruned Kernel Sharing for Efficient CNN Inference [41.050335599000036]
  最先端(SOTA)CNNは、様々なタスクにおいて優れたパフォーマンスを達成する。 その高い計算要求と膨大な数のパラメータにより、リソース制約のあるデバイスにこれらのSOTA CNNをデプロイすることは困難である。 本稿では,CNNモデル圧縮フレームワークであるPENNIを提案する。
  論文  参考訳（メタデータ） (2020-05-14T16:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。