論文の概要: The Quest for Universal Master Key Filters in DS-CNNs

• arxiv url: http://arxiv.org/abs/2509.11711v1
• Date: Mon, 15 Sep 2025 09:10:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.208544
• Title: The Quest for Universal Master Key Filters in DS-CNNs
• Title（参考訳）: DS-CNNにおけるユニバーサルマスターキーフィルタの探索
• Authors: Zahra Babaiee, Peyman M. Kiassari, Daniela Rus, Radu Grosu,
• Abstract要約: 深く分離可能な畳み込みネットワークが本質的に収束する8つの普遍フィルタが見つかる。 解析により、これらのフィルタは、発見された普遍集合の主に線型シフト(ax+b)であることが判明した。 注目すべきは、これらの8つのユニークなフリーズフィルタを持つネットワークは、80%以上のImageNet精度を達成することだ。
• 参考スコア（独自算出の注目度）: 52.091987605762135
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A recent study has proposed the "Master Key Filters Hypothesis" for convolutional neural network filters. This paper extends this hypothesis by radically constraining its scope to a single set of just 8 universal filters that depthwise separable convolutional networks inherently converge to. While conventional DS-CNNs employ thousands of distinct trained filters, our analysis reveals these filters are predominantly linear shifts (ax+b) of our discovered universal set. Through systematic unsupervised search, we extracted these fundamental patterns across different architectures and datasets. Remarkably, networks initialized with these 8 unique frozen filters achieve over 80% ImageNet accuracy, and even outperform models with thousands of trainable parameters when applied to smaller datasets. The identified master key filters closely match Difference of Gaussians (DoGs), Gaussians, and their derivatives, structures that are not only fundamental to classical image processing but also strikingly similar to receptive fields in mammalian visual systems. Our findings provide compelling evidence that depthwise convolutional layers naturally gravitate toward this fundamental set of spatial operators regardless of task or architecture. This work offers new insights for understanding generalization and transfer learning through the universal language of these master key filters.
• Abstract（参考訳）: 最近の研究では、畳み込みニューラルネットワークフィルタのための「マスターキーフィルタ仮説」が提案されている。 本稿では、この仮説を拡張し、その範囲を、深く分離可能な畳み込みネットワークが本質的に収束するたった8つの普遍フィルタの1つの集合に根本的に制限する。 従来のDS-CNNでは、何千もの異なる訓練されたフィルタが使用されているが、解析の結果、これらのフィルタは、発見された普遍集合の主に線形シフト(ax+b)であることが判明した。 体系的な教師なし検索を通じて、異なるアーキテクチャやデータセットにまたがる基本的なパターンを抽出した。 注目すべきなのは、これらの8つのフリーズフィルタで初期化されたネットワークは、80%以上のImageNet精度を実現し、より小さなデータセットに適用された場合、何千ものトレーニング可能なパラメータを持つモデルよりも優れています。 同定されたマスターキーフィルタは、古典的な画像処理の基礎であるだけでなく、哺乳類の視覚系における受容場と著しく類似した構造であるガウス(DoG)、ガウス(Gaussian)、およびそれらの誘導体の相違と密接に一致している。 我々の発見は, タスクやアーキテクチャに関わらず, この空間演算子の基本的な集合に対して, 奥行きの畳み込み層が自然に重力となるという説得力のある証拠を提供する。 この研究は、これらのマスターキーフィルタの普遍言語を通して一般化と伝達学習を理解するための新しい洞察を提供する。

関連論文リスト

• The Master Key Filters Hypothesis: Deep Filters Are General [51.900488744931785]
  畳み込みニューラルネットワーク(CNN)フィルタはより深い層に特化している。 ImageNetで訓練した深度分離可能なCNN(DS-CNN)におけるクラスタリング可能な繰り返しパターンの最近の観察は、この論文を動機づけた。 DS-CNNの解析により,深層フィルタの一般性は維持され,クラス固有のフィルタへの移行が期待されていることに矛盾することが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-21T20:04:23Z)
• Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels [56.69755544814834]
  深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-25T19:05:53Z)
• Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
  最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。 まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
  論文  参考訳（メタデータ） (2022-10-07T15:59:13Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Sparsistent filtering of comovement networks from high-dimensional data [0.0]
  本稿では,構成ノードの動的挙動から大次元ネットワークをフィルタリングする新しい手法を提案する。 実現したネットワークの重要トポロジ特性の保存に依存するよく知られたネットワークフィルタとは対照的に,本手法ではスペクトルを基本対象として扱い,スペクトル特性の保存を行う。
  論文  参考訳（メタデータ） (2021-01-22T15:44:41Z)
• Self-grouping Convolutional Neural Networks [30.732298624941738]
  本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。 各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。 得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
  論文  参考訳（メタデータ） (2020-09-29T06:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。