論文の概要: Kernel Orthogonality does not necessarily imply a Decrease in Feature Map Redundancy in CNNs: Convolutional Similarity Minimization

• arxiv url: http://arxiv.org/abs/2411.03226v1
• Date: Tue, 05 Nov 2024 16:18:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 15:00:48.120903
• Title: Kernel Orthogonality does not necessarily imply a Decrease in Feature Map Redundancy in CNNs: Convolutional Similarity Minimization
• Title（参考訳）: カーネル直交性は必ずしもCNNにおける特徴マップ冗長性の減少を意味するものではない:畳み込み類似性最小化
• Authors: Zakariae Belmekki, Jun Li, Patrick Reuter, David Antonio Gómez Jáuregui, Karl Jenkins,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、ディープラーニングで広く使われている。 CNNは特徴マップの冗長性に悩まされ、非効率なキャパシティ利用に繋がる。 CNNの入力とは無関係に特徴マップの類似性を低減させる効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 2.736842252209259
• License:
• Abstract: Convolutional Neural Networks (CNNs) have been heavily used in Deep Learning due to their success in various tasks. Nonetheless, it has been observed that CNNs suffer from redundancy in feature maps, leading to inefficient capacity utilization. Efforts to mitigate and solve this problem led to the emergence of multiple methods, amongst which is kernel orthogonality through variant means. In this work, we challenge the common belief that kernel orthogonality leads to a decrease in feature map redundancy, which is, supposedly, the ultimate objective behind kernel orthogonality. We prove, theoretically and empirically, that kernel orthogonality has an unpredictable effect on feature map similarity and does not necessarily decrease it. Based on our theoretical result, we propose an effective method to reduce feature map similarity independently of the input of the CNN. This is done by minimizing a novel loss function we call Convolutional Similarity. Empirical results show that minimizing the Convolutional Similarity increases the performance of classification models and can accelerate their convergence. Furthermore, using our proposed method pushes towards a more efficient use of the capacity of models, allowing the use of significantly smaller models to achieve the same levels of performance.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、様々なタスクで成功したため、ディープラーニングで多用されている。 それにもかかわらず、CNNは特徴マップの冗長性に悩まされ、非効率なキャパシティ利用につながることが観察されている。 この問題を緩和し解決する努力は、複数の方法の出現につながった。 本研究では、カーネル直交が特徴写像の冗長性の減少につながるという共通の信念に挑戦する。 我々は、理論上、経験的に、カーネル直交性が特徴写像の類似性に予測不可能な効果を持ち、必ずしも減少しないことを証明した。 理論的結果に基づいて,CNNの入力とは無関係に特徴マップの類似性を低減できる効果的な手法を提案する。 これは、私たちがConvolutional similarityと呼ぶ新しい損失関数を最小化することで実現されます。 実験結果から,畳み込み類似性の最小化は,分類モデルの性能を高め,それらの収束を加速させることを示した。 さらに,提案手法を用いることで,より効率的なモデルキャパシティの利用が可能となる。

関連論文リスト

• Tensor network compressibility of convolutional models [0.0]
  我々は,CNNの畳み込みカーネル(拡張されていない)が,その精度に与える影響を評価する。 カーネルはしばしばいくつかのカットに沿って切り替わることができ、カーネルノルムは著しく低下するが、分類精度は低下しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T13:12:33Z)
• Learning Partial Correlation based Deep Visual Representation for Image Classification [61.0532370259644]
  CNNの新たな構造層としてスパース逆共分散推定(SICE)を定式化する。 本研究は,部分的相関に基づく深部視覚表現を求め,小さなサンプル問題を緩和する。 実験により,本モデルの有効性と優れた分類性能が示された。
  論文  参考訳（メタデータ） (2023-04-23T10:09:01Z)
• Convolutional neural networks for valid and efficient causal inference [1.5469452301122177]
  畳み込みニューラルネットワーク(CNN)は機械学習アプリケーションで成功している。 治療における平均因果効果の半パラメトリック推定におけるニュアンスモデルへのCNNの適用を検討する。 スウェーデン全人口を対象としたデータを用いて,早期退職が入院に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-01-27T14:16:55Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network [19.717842489217684]
  本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。 本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。 画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-12T17:10:12Z)
• PENNI: Pruned Kernel Sharing for Efficient CNN Inference [41.050335599000036]
  最先端(SOTA)CNNは、様々なタスクにおいて優れたパフォーマンスを達成する。 その高い計算要求と膨大な数のパラメータにより、リソース制約のあるデバイスにこれらのSOTA CNNをデプロイすることは困難である。 本稿では,CNNモデル圧縮フレームワークであるPENNIを提案する。
  論文  参考訳（メタデータ） (2020-05-14T16:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。