論文の概要: Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels

• arxiv url: http://arxiv.org/abs/2401.14469v1
• Date: Thu, 25 Jan 2024 19:05:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 16:47:40.933336
• Title: Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels
• Title（参考訳）: 訓練された奥行き畳み込み核における未知:識別可能なクラスターの出現
• Authors: Zahra Babaiee, Peyman M. Kiasari, Daniela Rus, Radu Grosu
• Abstract要約: 深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
• 参考スコア（独自算出の注目度）: 56.69755544814834
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in depthwise-separable convolutional neural networks (DS-CNNs) have led to novel architectures, that surpass the performance of classical CNNs, by a considerable scalability and accuracy margin. This paper reveals another striking property of DS-CNN architectures: discernible and explainable patterns emerge in their trained depthwise convolutional kernels in all layers. Through an extensive analysis of millions of trained filters, with different sizes and from various models, we employed unsupervised clustering with autoencoders, to categorize these filters. Astonishingly, the patterns converged into a few main clusters, each resembling the difference of Gaussian (DoG) functions, and their first and second-order derivatives. Notably, we were able to classify over 95\% and 90\% of the filters from state-of-the-art ConvNextV2 and ConvNeXt models, respectively. This finding is not merely a technological curiosity; it echoes the foundational models neuroscientists have long proposed for the vision systems of mammals. Our results thus deepen our understanding of the emergent properties of trained DS-CNNs and provide a bridge between artificial and biological visual processing systems. More broadly, they pave the way for more interpretable and biologically-inspired neural network designs in the future.
• Abstract（参考訳）: 深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、古典的なCNNの性能を超える新しいアーキテクチャを、相当なスケーラビリティと精度のマージンで実現している。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。 異なるサイズと様々なモデルで訓練された数百万のフィルタを広範囲に分析し、オートエンコーダを用いた教師なしクラスタリングを用いて、これらのフィルタを分類した。 驚くべきことに、これらのパターンは数個の主クラスターに収束し、それぞれがガウス函数(DoG)とそれらの一階微分と二階微分の差に類似している。 特に、最先端のConvNextV2モデルとConvNeXtモデルからフィルタの95%以上と90%以上を分類することができた。 この発見は単なる技術的好奇心ではなく、神経科学者が哺乳類の視覚システムに対して長年提案してきた基礎モデルと一致する。 その結果、訓練されたds-cnnsの創発的特性の理解を深め、人工視覚処理システムと生体視覚処理システムの橋渡しとなる。 さらに広くは、将来的にはより解釈可能で生物学的にインスパイアされたニューラルネットワーク設計の道を開いた。

関連論文リスト

• Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
  我々は、失われたヘッセンのレンズを通して風景を研究する。 我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。 ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
  論文  参考訳（メタデータ） (2024-02-27T12:28:01Z)
• Deep Continuous Networks [21.849285945717632]
  空間的連続フィルタとニューラルODEの連続深度フレームワークを組み合わせたディープ連続ネットワーク(DCN)を提案する。 これにより、トレーニング中のフィルタの空間的サポートを学習し、特徴写像の連続的な進化をモデル化し、DCNを生物学的モデルに密接にリンクすることができる。 パラメータとデータ効率を改善し,メタパラメトリゼーションを可能にする標準画像分類・再構成問題に対して,DCNは汎用性が高く,高い適用性を示す。
  論文  参考訳（メタデータ） (2024-02-02T16:50:18Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• A Gradient Boosting Approach for Training Convolutional and Deep Neural Networks [0.0]
  グラディエントブースティング(GB)に基づく畳み込みニューラルネットワーク(CNN)とディープニューラルネットワークの訓練方法を紹介する。 提案モデルでは,同一アーキテクチャの標準CNNとDeep-NNに対して,分類精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-22T12:17:32Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Improving Neural Predictivity in the Visual Cortex with Gated Recurrent Connections [0.0]
  我々は,腹側視覚ストリームのユビキタスな特徴である横方向のリカレント接続を考慮したアーキテクチャに焦点を移し,適応的受容場を創出することを目指している。 本研究は,我々のアプローチの堅牢性と活性化の生物学的忠実性を高めるために,特定のデータ拡張技術を用いている。
  論文  参考訳（メタデータ） (2022-03-22T17:27:22Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling [79.15521784128102]
  画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。 空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。 空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-03-16T07:01:08Z)
• Inferring Convolutional Neural Networks' accuracies from their architectural characterizations [0.0]
  CNNのアーキテクチャと性能の関係について検討する。 本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。 我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
  論文  参考訳（メタデータ） (2020-01-07T16:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。