論文の概要: Resolution learning in deep convolutional networks using scale-space theory

• arxiv url: http://arxiv.org/abs/2106.03412v1
• Date: Mon, 7 Jun 2021 08:23:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 09:38:42.213768
• Title: Resolution learning in deep convolutional networks using scale-space theory
• Title（参考訳）: スケール空間理論を用いた深層畳み込みネットワークの解像学習
• Authors: Silvia L.Pintea and Nergis Tomen and Stanley F. Goes and Marco Loog and Jan C. van Gemert
• Abstract要約: ディープ畳み込みニューラルネットワーク(CNN)の解像度は、一般的に、フィルタサイズを通じて受容野のサイズと、特徴写像上の層や強みのある畳み込みによって制限される。 我々は、ハードコードされた高解像度パラメータを廃止し、データから適切な解像度を学習することを提案する。 スケール空間理論を用いてフィルタの自己相似パラメトリゼーションを求め、ガウス微分フィルタの学習的組み合わせによりフィルタを近似するために、N-Jet: truncated Taylor級数を用いる。
• 参考スコア（独自算出の注目度）: 33.13502294992414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Resolution in deep convolutional neural networks (CNNs) is typically bounded by the receptive field size through filter sizes, and subsampling layers or strided convolutions on feature maps. The optimal resolution may vary significantly depending on the dataset. Modern CNNs hard-code their resolution hyper-parameters in the network architecture which makes tuning such hyper-parameters cumbersome. We propose to do away with hard-coded resolution hyper-parameters and aim to learn the appropriate resolution from data. We use scale-space theory to obtain a self-similar parametrization of filters and make use of the N-Jet: a truncated Taylor series to approximate a filter by a learned combination of Gaussian derivative filters. The parameter {\sigma} of the Gaussian basis controls both the amount of detail the filter encodes and the spatial extent of the filter. Since {\sigma} is a continuous parameter, we can optimize it with respect to the loss. The proposed N-Jet layer achieves comparable performance when used in state-of-the art architectures, while learning the correct resolution in each layer automatically. We evaluate our N-Jet layer on both classification and segmentation, and we show that learning {\sigma} is especially beneficial for inputs at multiple sizes.
• Abstract（参考訳）: 深層畳み込みニューラルネットワーク(cnns)の分解能は、通常、フィルタサイズを通じて受容場サイズに制限され、特徴地図上のレイヤーまたはストレート畳み込みをサブサンプリングする。 最適な解像度はデータセットによって大きく異なる可能性がある。 現代のCNNは、そのようなハイパーパラメータのチューニングを煩雑にするネットワークアーキテクチャにおいて、その解像度のハイパーパラメータをハードコードしている。 我々は、ハードコードされた解像度ハイパーパラメータを廃止し、データから適切な解像度を学ぶことを提案する。 スケール空間理論を用いてフィルタの自己相似パラメトリゼーションを求め、ガウス微分フィルタの学習的組み合わせによりフィルタを近似するために、N-Jet: truncated Taylor級数を用いる。 ガウス基底のパラメータ {\sigma} は、フィルタが符号化する詳細度とフィルタの空間的範囲の両方を制御する。 {\sigma} は連続パラメータであるため、損失に関して最適化することができる。 提案したN-Jetレイヤは,各レイヤの解像度を自動的に学習しながら,最先端のアーキテクチャで使用する場合と同等のパフォーマンスを実現する。 我々はN-Jet層を分類とセグメンテーションの両方で評価し、学習は複数のサイズの入力に対して特に有益であることを示す。

関連論文リスト

• Enhancing Generalization in Convolutional Neural Networks through Regularization with Edge and Line Features [0.0]
  本稿では、バイアス畳み込みニューラルネットワーク(CNN)に対する新しい正規化手法を提案する。 任意のカーネルを学ぶのではなく、畳み込み層をエッジとライン検出カーネルに制約する。 テスト精度は、4つの挑戦的なきめ細かい分類データセットに対して5-11ポイントのマージンで改善される。
  論文  参考訳（メタデータ） (2024-10-22T11:02:32Z)
• Memory-efficient particle filter recurrent neural network for object localization [53.68402839500528]
  本研究では、オブジェクトの局所化問題を解決するために、新しいメモリ効率のリカレントニューラルネットワーク(RNN)アーキテクチャを提案する。 古典的粒子フィルタの概念をGRU RNNアーキテクチャと組み合わせる。 我々の実験では、mePFRNNモデルは、考慮された競合相手よりも正確なローカライゼーションを提供し、訓練されたパラメータを少なくする。
  論文  参考訳（メタデータ） (2023-10-02T19:41:19Z)
• As large as it gets: Learning infinitely large Filters via Neural Implicit Functions in the Fourier Domain [22.512062422338914]
  画像分類のためのニューラルネットワークの最近の研究は、空間的文脈を増大させる傾向が強い。 本稿では,畳み込みニューラルネットワークの有効フィルタサイズを研究するためのモジュールを提案する。 提案するネットワークは非常に大きな畳み込みカーネルを学習できるが、学習されたフィルタは十分に局所化されており、実際は比較的小さい。
  論文  参考訳（メタデータ） (2023-07-19T14:21:11Z)
• Filter Pruning for Efficient CNNs via Knowledge-driven Differential Filter Sampler [103.97487121678276]
  フィルタプルーニングは同時に計算を加速し、CNNのメモリオーバーヘッドを低減する。 本稿では,MFM(Masked Filter Modeling)フレームワークを用いた知識駆動型微分フィルタサンプリング(KDFS)を提案する。
  論文  参考訳（メタデータ） (2023-07-01T02:28:41Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• DNN-Based Topology Optimisation: Spatial Invariance and Neural Tangent Kernel [7.106986689736828]
  完全に接続されたニューラルネットワークによって生成される密度場を用いてSIMP法について検討し,その座標を入力とする。 我々は,DNNの使用が従来のSIMPのフィルタリング手法と類似したフィルタリング効果をもたらすことを示し,ニューラル・タンジェント・カーネル(NTK)によるフィルタについて述べる。
  論文  参考訳（メタデータ） (2021-06-10T12:49:55Z)
• Compressing Deep CNNs using Basis Representation and Spectral Fine-tuning [2.578242050187029]
  深層畳み込みニューラルネットワーク(CNN)を効率よく簡単に圧縮する方法を提案する。 具体的には、CNNの空間畳み込み層を2つの連続した畳み込み層に置き換えることができる。 我々は、基底とフィルタ表現の両方を微調整し、トランケーションによるパフォーマンス損失を直接軽減する。
  論文  参考訳（メタデータ） (2021-05-21T16:14:26Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Delving Deeper into Anti-aliasing in ConvNets [42.82751522973616]
  エイリアシング(Aliasing)は、高周波信号がサンプリング後に完全に異なる信号に縮退する現象である。 空間的位置とチャネル群ごとに異なるフィルタ重みを予測できる適応型コンテンツ対応低域フィルタ層を提案する。
  論文  参考訳（メタデータ） (2020-08-21T17:56:04Z)
• PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、しばしばスケールに敏感である。 我々は、この後悔を、より細かい粒度でマルチスケールの機能を利用して埋める。 提案した畳み込み演算は、PSConv(Poly-Scale Convolution)と呼ばれ、拡張率のスペクトルを混合する。
  論文  参考訳（メタデータ） (2020-07-13T05:14:11Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。