論文の概要: The Master Key Filters Hypothesis: Deep Filters Are General in DS-CNNs

• arxiv url: http://arxiv.org/abs/2412.16751v1
• Date: Sat, 21 Dec 2024 20:04:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:25.152585
• Title: The Master Key Filters Hypothesis: Deep Filters Are General in DS-CNNs
• Title（参考訳）: マスターキーフィルタの仮説:ディープフィルタはDS-CNNで一般的なもの
• Authors: Zahra Babaiee, Peyman M. Kiasari, Daniela Rus, Radu Grosu,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)フィルタはより深い層に特化している。 ImageNetで訓練した深度分離可能なCNN(DS-CNN)におけるクラスタリング可能な繰り返しパターンの最近の観察は、この論文を動機づけた。 DS-CNNの解析により,深層フィルタの一般性は維持され,クラス固有のフィルタへの移行が期待されていることに矛盾することが明らかとなった。
• 参考スコア（独自算出の注目度）: 51.900488744931785
• License:
• Abstract: This paper challenges the prevailing view that convolutional neural network (CNN) filters become increasingly specialized in deeper layers. Motivated by recent observations of clusterable repeating patterns in depthwise separable CNNs (DS-CNNs) trained on ImageNet, we extend this investigation across various domains and datasets. Our analysis of DS-CNNs reveals that deep filters maintain generality, contradicting the expected transition to class-specific filters. We demonstrate the generalizability of these filters through transfer learning experiments, showing that frozen filters from models trained on different datasets perform well and can be further improved when sourced from larger datasets. Our findings indicate that spatial features learned by depthwise separable convolutions remain generic across all layers, domains, and architectures. This research provides new insights into the nature of generalization in neural networks, particularly in DS-CNNs, and has significant implications for transfer learning and model design.
• Abstract（参考訳）: 本稿では、畳み込みニューラルネットワーク(CNN)フィルタがより深い層に特化しているという一般的な見方に挑戦する。 ImageNetでトレーニングされた深度分離可能なCNN(DS-CNN)におけるクラスタブルリピートパターンの最近の観察により、この調査はさまざまなドメインやデータセットにわたって拡張される。 DS-CNNの解析により,深層フィルタの一般性は維持され,クラス固有のフィルタへの移行が期待されていることに矛盾することが明らかとなった。 転送学習実験により、これらのフィルタの一般化可能性を示し、異なるデータセットでトレーニングされたモデルからの凍結フィルタが良好に動作し、より大きなデータセットからソースされた場合、さらなる改善が可能であることを示した。 以上の結果から,奥行き分離可能な畳み込みによって学習された空間的特徴は,すべての層,ドメイン,アーキテクチャにわたって一般的であることが示唆された。 本研究は,ニューラルネットワーク,特にDS-CNNにおける一般化の性質に関する新たな知見を提供し,伝達学習とモデル設計に大きな影響を及ぼす。

関連論文リスト

• Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels [56.69755544814834]
  深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。 本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
  論文  参考訳（メタデータ） (2024-01-25T19:05:53Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• CNN Filter DB: An Empirical Investigation of Trained Convolutional Filters [2.0305676256390934]
  モデル事前学習は、サイズと分散条件を満たす場合、任意のデータセットで成功することを示す。 事前学習された多くのモデルには、劣化したフィルタが含まれており、それによって、より堅牢で、ターゲットアプリケーションの微調整に適さないことが示される。
  論文  参考訳（メタデータ） (2022-03-29T08:25:42Z)
• Overcoming Oversmoothness in Graph Convolutional Networks via Hybrid Scattering Networks [11.857894213975644]
  本稿では,従来のGCNフィルタと幾何散乱変換を用いて定義された帯域通過フィルタを組み合わせたハイブリッドグラフニューラルネットワーク(GNN)フレームワークを提案する。 理論的には, グラフからの構造情報を活用するために散乱フィルタの相補的な利点が確立され, 実験では様々な学習課題における手法の利点が示された。
  論文  参考訳（メタデータ） (2022-01-22T00:47:41Z)
• An Empirical Investigation of Model-to-Model Distribution Shifts in Trained Convolutional Filters [2.0305676256390934]
  本稿では,様々なコンピュータビジョンタスクに使用される画像データの分布変化について検討した結果について述べる。 元のトレーニングデータやテストデータを解析する代わりに、訓練されたモデルの学習重量の変化を研究することを提案する。
  論文  参考訳（メタデータ） (2022-01-20T21:48:12Z)
• Understanding the Basis of Graph Convolutional Neural Networks via an Intuitive Matched Filtering Approach [7.826806223782053]
  グラフ畳み込みニューラルネットワーク(GCNN)は不規則領域のデータ処理において好まれるモデルとなっている。 これらの畳み込み層は、選択したパターンと一致した入力データのフィルタリングを効果的に行うことを示す。 数値的な例は、GCNN操作の様々なステップをガイドし、視覚的にも数値的にも学習する。
  論文  参考訳（メタデータ） (2021-08-23T12:41:06Z)
• Stability to Deformations of Manifold Filters and Manifold Neural Networks [89.53585099149973]
  本論文は、多様体(M)畳み込みフィルタとニューラルネットワーク(NN)を定義し、研究する。 この論文の主な技術的貢献は、多様体の滑らかな変形に対する多様体フィルタとMNNの安定性を分析することである。
  論文  参考訳（メタデータ） (2021-06-07T15:41:03Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• A SAR speckle filter based on Residual Convolutional Neural Networks [68.8204255655161]
  本研究では,Convolutional Neural Networks(CNN)に基づく深層学習(DL)アルゴリズムを用いて,Sentinel-1データからスペックルノイズをフィルタリングする新しい手法を提案する。 得られた結果は、技術の現状と比較すると、ピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)の点で明確な改善を示しています。
  論文  参考訳（メタデータ） (2021-04-19T14:43:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。