論文の概要: Channel redundancy and overlap in convolutional neural networks with
channel-wise NNK graphs
- arxiv url: http://arxiv.org/abs/2110.11400v1
- Date: Mon, 18 Oct 2021 22:50:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-31 08:50:38.029477
- Title: Channel redundancy and overlap in convolutional neural networks with
channel-wise NNK graphs
- Title（参考訳）: nnkグラフを用いた畳み込みニューラルネットワークにおけるチャネル冗長性と重なり
- Authors: David Bonet, Antonio Ortega, Javier Ruiz-Hidalgo, Sarath Shekkizhar
- Abstract要約: 畳み込みニューラルネットワーク(CNN)の深い層における特徴空間は、しばしば非常に高次元で解釈が難しい。
理論的にチャネルワイド非負のカーネル(CW-NNK)回帰グラフを分析し、チャネル間の重なり合いを定量化する。
チャネル間の冗長性は,層深度や正規化の程度によって大きく変化している。
- 参考スコア（独自算出の注目度）: 36.479195100553085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature spaces in the deep layers of convolutional neural networks (CNNs) are
often very high-dimensional and difficult to interpret. However, convolutional
layers consist of multiple channels that are activated by different types of
inputs, which suggests that more insights may be gained by studying the
channels and how they relate to each other. In this paper, we first analyze
theoretically channel-wise non-negative kernel (CW-NNK) regression graphs,
which allow us to quantify the overlap between channels and, indirectly, the
intrinsic dimension of the data representation manifold. We find that
redundancy between channels is significant and varies with the layer depth and
the level of regularization during training. Additionally, we observe that
there is a correlation between channel overlap in the last convolutional layer
and generalization performance. Our experimental results demonstrate that these
techniques can lead to a better understanding of deep representations.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の深い層における特徴空間は、しばしば非常に高次元で解釈が難しい。
しかし、畳み込み層は、異なる種類の入力によって活性化される複数のチャネルで構成されており、チャネルとそれらの相互関係を研究することによって、より多くの洞察が得られることを示唆している。
本稿では,まず,チャネル間重なりの定量化を可能にするcw-nnk回帰グラフを理論的に解析し,間接的にデータ表現多様体の固有次元を明らかにした。
チャネル間の冗長性は、トレーニング中の層深さと正規化レベルによって大きく変化している。
さらに,最終畳み込み層におけるチャネル重なりと一般化性能との間には相関関係があることを観察する。
実験結果から,これらの手法が深部表現の理解を深める可能性が示唆された。
関連論文リスト
- AlignedCut: Visual Concepts Discovery on Brain-Guided Universal Feature Space [9.302098067235507]
視覚データ,深層ネットワーク,脳間の興味深い関連性について検討する。
本手法は,脳のボクセルfMRI応答予測をトレーニングの目的とするユニバーサルチャネルアライメントを生成する。
論文 参考訳（メタデータ） (2024-06-26T13:38:16Z) - Joint Channel Estimation and Feedback with Masked Token Transformers in
Massive MIMO Systems [74.52117784544758]
本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。
エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。
提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
論文 参考訳（メタデータ） (2023-06-08T06:15:17Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Low Complexity Channel estimation with Neural Network Solutions [1.0499453838486013]
我々は、ダウンリンクシナリオでチャネル推定を実現するために、一般的な残差畳み込みニューラルネットワークをデプロイする。
チャネル推定における他のディープラーニング手法と比較して,平均二乗誤差計算の改善が示唆された。
論文 参考訳（メタデータ） (2022-01-24T19:55:10Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - Channel-Wise Early Stopping without a Validation Set via NNK Polytope
Interpolation [36.479195100553085]
畳み込みニューラルネットワーク(ConvNets)は、複数のチャネルの集約によって形成される高次元の特徴空間からなる。
非次元カーネル回帰(NNK)グラフに基づく新しい一般化推定法であるチャネルワイドDeepNNKを提案する。
論文 参考訳（メタデータ） (2021-07-27T17:33:30Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Spatio-Temporal Inception Graph Convolutional Networks for
Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。
ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文 参考訳（メタデータ） (2020-11-26T14:43:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。