論文の概要: Why do CNNs Learn Consistent Representations in their First Layer Independent of Labels and Architecture?

• arxiv url: http://arxiv.org/abs/2206.02454v1
• Date: Mon, 6 Jun 2022 09:33:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 02:15:52.986546
• Title: Why do CNNs Learn Consistent Representations in their First Layer Independent of Labels and Architecture?
• Title（参考訳）: なぜCNNはラベルとアーキテクチャに依存しない最初のレイヤで一貫性のある表現を学ぶのか?
• Authors: Rhea Chowers, Yair Weiss
• Abstract要約: CNNフィルタをフィルタバンクとみなし、フィルタバンクの感度を異なる周波数で測定する。 注目すべきは、ネットワークがランダムなラベルでトレーニングされている場合でも、同じ状態のままであることである。
• 参考スコア（独自算出の注目度）: 7.99536002595393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It has previously been observed that the filters learned in the first layer of a CNN are qualitatively similar for different networks and tasks. We extend this finding and show a high quantitative similarity between filters learned by different networks. We consider the CNN filters as a filter bank and measure the sensitivity of the filter bank to different frequencies. We show that the sensitivity profile of different networks is almost identical, yet far from initialization. Remarkably, we show that it remains the same even when the network is trained with random labels. To understand this effect, we derive an analytic formula for the sensitivity of the filters in the first layer of a linear CNN. We prove that when the average patch in images of the two classes is identical, the sensitivity profile of the filters in the first layer will be identical in expectation when using the true labels or random labels and will only depend on the second-order statistics of image patches. We empirically demonstrate that the average patch assumption holds for realistic datasets. Finally we show that the energy profile of filters in nonlinear CNNs is highly correlated with the energy profile of linear CNNs and that our analysis of linear networks allows us to predict when representations learned by state-of-the-art networks trained on benchmark classification tasks will depend on the labels.
• Abstract（参考訳）: CNNの第1層で学習されたフィルタは、異なるネットワークやタスクに対して質的に類似している。 この発見を拡張し、異なるネットワークで学習したフィルタ間で高い定量的類似性を示す。 我々は, cnnフィルタをフィルタバンクとして考慮し, フィルタバンクの感度を異なる周波数に測定する。 異なるネットワークの感度プロファイルはほぼ同一であるが、初期化には程遠いことを示す。 注目すべきは、ネットワークがランダムなラベルでトレーニングされている場合でも、同じ状態のままであることである。 この効果を理解するために,線形CNNの第1層におけるフィルタの感度に関する解析式を導出した。 2つのクラスの画像の平均パッチが同一である場合、第1層のフィルタの感度プロファイルは、真のラベルやランダムラベルを使用する場合の期待値と同一であり、画像パッチの2次統計値のみに依存することが証明される。 我々は、実際のデータセットに対して平均パッチ仮定が成り立つことを実証的に示す。 最後に、非線形cnnにおけるフィルタのエネルギープロファイルは線形cnnのエネルギープロファイルと高い相関関係にあり、線形ネットワークの解析により、ベンチマーク分類タスクで訓練された最先端ネットワークで学習された表現がラベルに依存する時期を予測することができることを示した。

関連論文リスト

• PICNN: A Pathway towards Interpretable Convolutional Neural Networks [12.31424771480963]
  フィルタと画像のクラス間の絡み合いを軽減する新しい経路を導入する。 我々はBernoulliサンプリングを用いて、学習可能なフィルタクラス対応行列からフィルタクラスタ割り当て行列を生成する。 提案手法の有効性を,広く使用されている10のネットワークアーキテクチャ上で評価する。
  論文  参考訳（メタデータ） (2023-12-19T11:36:03Z)
• Demystifying CNNs for Images by Matched Filters [13.121514086503591]
  畳み込みニューラルネットワーク(CNN)は、ビッグデータ時代のインテリジェントマシンのアプローチと使用方法に革命をもたらしています。 CNNは、そのテキストブラックボックスの性質と、その操作の理論的サポートと物理的意味の欠如により、精査されている。 本稿では,マッチングフィルタリングの観点を用いて,CNNの動作を復調する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-16T12:39:17Z)
• Explaining Convolutional Neural Networks by Tagging Filters [0.802904964931021]
  非専門家にも効果的にCNNを説明するアプローチであるFilTagを提案する。 クラスのイメージが畳み込みフィルタを頻繁に起動すると、そのフィルタはそのクラスでタグ付けされる。 このタグは,ノイズの多い入力画像による分類誤りの解析に有効であり,さらに機械によって処理可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-20T09:27:27Z)
• FILTRA: Rethinking Steerable CNN by Filter Transform [59.412570807426135]
  操舵可能なCNNの問題は群表現論の側面から研究されている。 フィルタ変換によって構築されたカーネルは群表現論でも解釈可能であることを示す。 この解釈は、ステアブルCNN理論のパズルを完成させ、ステアブル畳み込み演算子を実装するための、新しく簡単なアプローチを提供する。
  論文  参考訳（メタデータ） (2021-05-25T03:32:34Z)
• Fusion of CNNs and statistical indicators to improve image classification [65.51757376525798]
  畳み込みネットワークは過去10年間、コンピュータビジョンの分野を支配してきた。 この傾向を長引かせる主要な戦略は、ネットワーク規模の拡大によるものだ。 我々は、異種情報ソースを追加することは、より大きなネットワークを構築するよりもCNNにとって費用対効果が高いと仮定している。
  論文  参考訳（メタデータ） (2020-12-20T23:24:31Z)
• Exploring the Interchangeability of CNN Embedding Spaces [0.5735035463793008]
  画像分類CNN10点と顔認識CNN4点をマップする。 同じクラスにトレーニングされ、共通のバックエンド-ログアーキテクチャを共有するCNNの場合、リニアマッピングは常にバックエンド層重みから直接計算される。 この意味は遠く離れており、共通のタスクのために設計、訓練されたネットワークによって学習された表現間の基礎的な共通性を示している。
  論文  参考訳（メタデータ） (2020-10-05T20:32:40Z)
• Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters [64.46270549587004]
  畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。 CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。 本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T09:12:26Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• A Systematic Evaluation: Fine-Grained CNN vs. Traditional CNN Classifiers [54.996358399108566]
  本稿では,大規模分類データセット上でトップノーチ結果を示すランドマーク一般的なCNN分類器の性能について検討する。 最先端のきめ細かい分類器と比較する。 実験において, 粒度の細かい分類器がベースラインを高められるかどうかを判定するために, 6つのデータセットについて広範囲に評価する。
  論文  参考訳（メタデータ） (2020-03-24T23:49:14Z)
• Hybrid Tiled Convolutional Neural Networks for Text Sentiment Classification [3.0204693431381515]
  階層型畳み込みニューラルネットワーク(CNN)のアーキテクチャを調整し、感情分析のための健全な特徴の抽出を改善する。 NLP分野におけるタイル付きCNNの大きな欠点は、その柔軟性のないフィルタ構造であることを認識し、我々はハイブリッドタイル付きCNNと呼ばれる新しいアーキテクチャを提案する。 IMDBの映画レビューとSemEval 2017のデータセットの実験は、ハイブリッドタイルCNNの効率を実証している。
  論文  参考訳（メタデータ） (2020-01-31T14:08:15Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。