論文の概要: Kernel Orthogonality does not necessarily imply a Decrease in Feature Map Redundancy in CNNs: Convolutional Similarity Minimization

• arxiv url: http://arxiv.org/abs/2411.03226v1
• Date: Tue, 05 Nov 2024 16:18:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:44.665985
• Title: Kernel Orthogonality does not necessarily imply a Decrease in Feature Map Redundancy in CNNs: Convolutional Similarity Minimization
• Title（参考訳）: カーネル直交性は必ずしもCNNにおける特徴マップ冗長性の減少を意味するものではない:畳み込み類似性最小化
• Authors: Zakariae Belmekki, Jun Li, Patrick Reuter, David Antonio Gómez Jáuregui, Karl Jenkins,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、ディープラーニングで広く使われている。 CNNは特徴マップの冗長性に悩まされ、非効率なキャパシティ利用に繋がる。 CNNの入力とは無関係に特徴マップの類似性を低減させる効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 2.736842252209259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNNs) have been heavily used in Deep Learning due to their success in various tasks. Nonetheless, it has been observed that CNNs suffer from redundancy in feature maps, leading to inefficient capacity utilization. Efforts to mitigate and solve this problem led to the emergence of multiple methods, amongst which is kernel orthogonality through variant means. In this work, we challenge the common belief that kernel orthogonality leads to a decrease in feature map redundancy, which is, supposedly, the ultimate objective behind kernel orthogonality. We prove, theoretically and empirically, that kernel orthogonality has an unpredictable effect on feature map similarity and does not necessarily decrease it. Based on our theoretical result, we propose an effective method to reduce feature map similarity independently of the input of the CNN. This is done by minimizing a novel loss function we call Convolutional Similarity. Empirical results show that minimizing the Convolutional Similarity increases the performance of classification models and can accelerate their convergence. Furthermore, using our proposed method pushes towards a more efficient use of the capacity of models, allowing the use of significantly smaller models to achieve the same levels of performance.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、様々なタスクで成功したため、ディープラーニングで多用されている。 それにもかかわらず、CNNは特徴マップの冗長性に悩まされ、非効率なキャパシティ利用につながることが観察されている。 この問題を緩和し解決する努力は、複数の方法の出現につながった。 本研究では、カーネル直交が特徴写像の冗長性の減少につながるという共通の信念に挑戦する。 我々は、理論上、経験的に、カーネル直交性が特徴写像の類似性に予測不可能な効果を持ち、必ずしも減少しないことを証明した。 理論的結果に基づいて,CNNの入力とは無関係に特徴マップの類似性を低減できる効果的な手法を提案する。 これは、私たちがConvolutional similarityと呼ぶ新しい損失関数を最小化することで実現されます。 実験結果から,畳み込み類似性の最小化は,分類モデルの性能を高め,それらの収束を加速させることを示した。 さらに,提案手法を用いることで,より効率的なモデルキャパシティの利用が可能となる。

関連論文リスト

• Fragment size density estimator for shrinkage-induced fracture based on a physics-informed neural network [0.0]
  本稿では,縮小に伴う断片化をモデル化した積分微分方程式に対するニューラルネットワーク(NN)に基づく解法を提案する。 提案手法は,制御方程式を数値的に解くことなく,入力パラメータを対応する確率密度関数に直接マッピングする。 モンテカルロシミュレーションにおける密度関数の効率的な評価を可能にし、従来の有限差分スキームに匹敵する精度を維持する。
  論文  参考訳（メタデータ） (2025-07-15T23:33:05Z)
• Regularized second-order optimization of tensor-network Born machines [2.8834278113855896]
  ボルンマシン(英: Born Machine、TNBM)は、データ分布を学習するための量子インスパイアされた生成モデルである。 TNBMの鍵となるボトルネックは、この問題によく使用される損失関数の対数的性質である。 そこで本研究では,TNBMトレーニングにおける2次最適化手法を改良し,収束率と最適化モデルの品質を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-30T19:00:04Z)
• Interpretable Recognition of Fused Magnesium Furnace Working Conditions with Deep Convolutional Stochastic Configuration Networks [0.18641315013048293]
  本稿では、深層畳み込み構成ネットワーク(DCSCN)に基づく解釈可能な作業条件認識手法を提案する。 物理的に意味のある差動畳み込みカーネルを生成するために、教師付き学習機構が使用される。 認識精度、解釈可能な信頼性評価指標、モデルパラメータ量に基づいて共同報酬関数を構築する。
  論文  参考訳（メタデータ） (2025-01-06T03:17:41Z)
• Tensor network compressibility of convolutional models [0.0]
  我々は,CNNの畳み込みカーネル(拡張されていない)が,その精度に与える影響を評価する。 カーネルはしばしばいくつかのカットに沿って切り替わることができ、カーネルノルムは著しく低下するが、分類精度は低下しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T13:12:33Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Learning Partial Correlation based Deep Visual Representation for Image Classification [61.0532370259644]
  CNNの新たな構造層としてスパース逆共分散推定(SICE)を定式化する。 本研究は,部分的相関に基づく深部視覚表現を求め,小さなサンプル問題を緩和する。 実験により,本モデルの有効性と優れた分類性能が示された。
  論文  参考訳（メタデータ） (2023-04-23T10:09:01Z)
• Binarizing Sparse Convolutional Networks for Efficient Point Cloud Analysis [93.55896765176414]
  我々は,効率的な点群解析のためのBSC-Netと呼ばれるバイナリスパース畳み込みネットワークを提案する。 我々は,移動したスパース畳み込みにおけるサイトマッチングに最適なオプションを見つけるために,異なる検索戦略を採用している。 我々のBSC-Netは、我々の厳格なベースラインを大幅に改善し、最先端のネットワーク双対化手法より優れています。
  論文  参考訳（メタデータ） (2023-03-27T13:47:06Z)
• Convolutional neural networks for valid and efficient causal inference [1.5469452301122177]
  畳み込みニューラルネットワーク(CNN)は機械学習アプリケーションで成功している。 治療における平均因果効果の半パラメトリック推定におけるニュアンスモデルへのCNNの適用を検討する。 スウェーデン全人口を対象としたデータを用いて,早期退職が入院に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-01-27T14:16:55Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Decentralized Statistical Inference with Unrolled Graph Neural Networks [26.025935320024665]
  分散最適化アルゴリズムをグラフニューラルネットワーク(GNN)にアンロールする学習ベースフレームワークを提案する。 エンドツーエンドトレーニングによるリカバリエラーを最小限にすることで、この学習ベースのフレームワークは、モデルのミスマッチ問題を解決する。 コンバージェンス解析により,学習したモデルパラメータがコンバージェンスを加速し,リカバリエラーを広範囲に低減できることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-04T07:52:34Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network [19.717842489217684]
  本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。 本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。 画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-12T17:10:12Z)
• Adaptive Discretization for Model-Based Reinforcement Learning [10.21634042036049]
  本稿では,適応離散化手法を導入し,効率的なモデルに基づくエピソード強化学習アルゴリズムを設計する。 我々のアルゴリズムは、空間の適応的な離散化を維持するために拡張された楽観的なワンステップ値反復に基づいている。
  論文  参考訳（メタデータ） (2020-07-01T19:36:46Z)
• PENNI: Pruned Kernel Sharing for Efficient CNN Inference [41.050335599000036]
  最先端(SOTA)CNNは、様々なタスクにおいて優れたパフォーマンスを達成する。 その高い計算要求と膨大な数のパラメータにより、リソース制約のあるデバイスにこれらのSOTA CNNをデプロイすることは困難である。 本稿では,CNNモデル圧縮フレームワークであるPENNIを提案する。
  論文  参考訳（メタデータ） (2020-05-14T16:57:41Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。