論文の概要: Convolutional Neural Networks Do Work with Pre-Defined Filters

• arxiv url: http://arxiv.org/abs/2411.18388v1
• Date: Wed, 27 Nov 2024 14:30:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:25.698130
• Title: Convolutional Neural Networks Do Work with Pre-Defined Filters
• Title（参考訳）: 畳み込みニューラルネットワークは事前決定フィルタで動作する
• Authors: Christoph Linse, Erhardt Barth, Thomas Martinetz,
• Abstract要約: 我々は、事前定義されたフィルタ畳み込みニューラルネットワーク(PFCNN)と呼ばれる新しい畳み込みニューラルネットワークのクラスを提案する。 PFCNNは、PFM(Pre-Defined Filter Module)と呼ばれる、ディープワイド・コンボリューションの特別な形態を含む。 この厳しい制限にもかかわらず、複雑で差別的な特徴が学習される。
• 参考スコア（独自算出の注目度）: 0.022344294014777957
• License:
• Abstract: We present a novel class of Convolutional Neural Networks called Pre-defined Filter Convolutional Neural Networks (PFCNNs), where all nxn convolution kernels with n>1 are pre-defined and constant during training. It involves a special form of depthwise convolution operation called a Pre-defined Filter Module (PFM). In the channel-wise convolution part, the 1xnxn kernels are drawn from a fixed pool of only a few (16) different pre-defined kernels. In the 1x1 convolution part linear combinations of the pre-defined filter outputs are learned. Despite this harsh restriction, complex and discriminative features are learned. These findings provide a novel perspective on the way how information is processed within deep CNNs. We discuss various properties of PFCNNs and prove their effectiveness using the popular datasets Caltech101, CIFAR10, CUB-200-2011, FGVC-Aircraft, Flowers102, and Stanford Cars. Our implementation of PFCNNs is provided on Github https://github.com/Criscraft/PredefinedFilterNetworks
• Abstract（参考訳）: 我々は、n>1のすべてのnxn畳み込みカーネルが事前定義され、トレーニング中に一定となる、事前定義されたフィルタ畳み込みニューラルネットワーク(PFCNN)と呼ばれる新しい畳み込みニューラルネットワークのクラスを提示する。 これは、PFM(Pre-defined Filter Module)と呼ばれる、ディープワイドな畳み込み操作の特別な形式を含む。 チャネルワイズ畳み込み部では、1xnxnカーネルは数個の(16)異なる事前定義されたカーネルの固定プールから引き出される。 1x1畳み込み部では、予め定義されたフィルタ出力の線形結合が学習される。 この厳しい制限にもかかわらず、複雑で差別的な特徴が学習される。 これらの知見は、情報がどのように深層CNN内で処理されるかという新しい視点を提供する。 PFCNNの諸特性について論じ,Caltech101,CIFAR10,CUB-200-2011,FGVC-Aircraft,Flowers102,Stanford Carsを用いて,その有効性を証明する。 PFCNNの実装はGithub https://github.com/Criscraft/PredefinedFilterNetworksで公開されています。

関連論文リスト

• Enhancing Generalization in Convolutional Neural Networks through Regularization with Edge and Line Features [0.0]
  本稿では、バイアス畳み込みニューラルネットワーク(CNN)に対する新しい正規化手法を提案する。 任意のカーネルを学ぶのではなく、畳み込み層をエッジとライン検出カーネルに制約する。 テスト精度は、4つの挑戦的なきめ細かい分類データセットに対して5-11ポイントのマージンで改善される。
  論文  参考訳（メタデータ） (2024-10-22T11:02:32Z)
• Scalable Graph Compressed Convolutions [68.85227170390864]
  ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。 グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
  論文  参考訳（メタデータ） (2024-07-26T03:14:13Z)
• Efficient Higher-order Convolution for Small Kernels in Deep Learning [0.0]
  本稿では,より少ないメモリと計算コストで高階のVolterraフィルタを実現する新しい手法を提案する。 提案手法に基づいて,HLA(Higher-order Local Attention Block)と呼ばれる新しいアテンションモジュールを提案し,検証した。
  論文  参考訳（メタデータ） (2024-04-25T07:42:48Z)
• The Power of Linear Combinations: Learning with Random Convolutions [2.0305676256390934]
  現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。 これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。 私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
  論文  参考訳（メタデータ） (2023-01-26T19:17:10Z)
• Fast Finite Width Neural Tangent Kernel [47.57136433797996]
  ニューラルネットワークのJacobianは、ディープラーニングの研究の中心的な対象として登場した。 有限幅NTKは計算に費用がかかることで有名である。 有限幅NTKの計算およびメモリ要求の指数を変化させる2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-17T12:18:22Z)
• Convolutional Neural Networks Demystified: A Matched Filtering Perspective Based Tutorial [7.826806223782053]
  畳み込みニューラルネットワーク(CNN)は、大量の信号や画像を分析するためのデファクト標準である。 我々は、最初の原則と一致するフィルタリングの観点から、それらの操作を再考する。 このチュートリアルが、深層ニューラルネットワークの理解とさらなる発展に新たな光と物理的直感をもたらすことを願っています。
  論文  参考訳（メタデータ） (2021-08-26T09:07:49Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。