論文の概要: As large as it gets: Learning infinitely large Filters via Neural Implicit Functions in the Fourier Domain

• arxiv url: http://arxiv.org/abs/2307.10001v2
• Date: Wed, 15 May 2024 06:27:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 18:31:50.445823
• Title: As large as it gets: Learning infinitely large Filters via Neural Implicit Functions in the Fourier Domain
• Title（参考訳）: フーリエ領域におけるニューラルインプリシット関数による無限大フィルタの学習
• Authors: Julia Grabinski, Janis Keuper, Margret Keuper,
• Abstract要約: 画像分類のためのニューラルネットワークの最近の研究は、空間的文脈を増大させる傾向が強い。 本稿では,畳み込みニューラルネットワークの有効フィルタサイズを研究するためのモジュールを提案する。 提案するネットワークは非常に大きな畳み込みカーネルを学習できるが、学習されたフィルタは十分に局所化されており、実際は比較的小さい。
• 参考スコア（独自算出の注目度）: 22.512062422338914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work in neural networks for image classification has seen a strong tendency towards increasing the spatial context. Whether achieved through large convolution kernels or self-attention, models scale poorly with the increased spatial context, such that the improved model accuracy often comes at significant costs. In this paper, we propose a module for studying the effective filter size of convolutional neural networks. To facilitate such a study, several challenges need to be addressed: 1) we need an effective means to train models with large filters (potentially as large as the input data) without increasing the number of learnable parameters 2) the employed convolution operation should be a plug-and-play module that can replace conventional convolutions in a CNN and allow for an efficient implementation in current frameworks 3) the study of filter sizes has to be decoupled from other aspects such as the network width or the number of learnable parameters 4) the cost of the convolution operation itself has to remain manageable i.e. we cannot naively increase the size of the convolution kernel. To address these challenges, we propose to learn the frequency representations of filter weights as neural implicit functions, such that the better scalability of the convolution in the frequency domain can be leveraged. Additionally, due to the implementation of the proposed neural implicit function, even large and expressive spatial filters can be parameterized by only a few learnable weights. Our analysis shows that, although the proposed networks could learn very large convolution kernels, the learned filters are well localized and relatively small in practice when transformed from the frequency to the spatial domain. We anticipate that our analysis of individually optimized filter sizes will allow for more efficient, yet effective, models in the future. https://github.com/GeJulia/NIFF.
• Abstract（参考訳）: 画像分類のためのニューラルネットワークの最近の研究は、空間的文脈を増大させる傾向が強い。 大規模な畳み込みカーネルや自己アテンションによって達成されるかに関わらず、モデルの精度が向上するなど、空間的コンテキストの増大によってモデルは低スケールとなる。 本稿では,畳み込みニューラルネットワークの効率的なフィルタサイズを学習するためのモジュールを提案する。 そのような研究を促進するには、いくつかの課題に取り組む必要がある。 1)学習可能なパラメータの数を増やすことなく、大きなフィルタ(潜在的には入力データに匹敵する)でモデルを訓練する効果的な方法が必要である。 2) 使用済みの畳み込み操作は,CNNの従来の畳み込みを置き換え,現行フレームワークの効率的な実装を可能にするプラグイン・アンド・プレイモジュールであるべきである。 3)フィルタサイズの研究は,ネットワーク幅や学習可能なパラメータの数など,他の側面から切り離さなければならない。 4) 畳み込み演算自体のコストは管理可能でなければならない。 これらの課題に対処するために,フィルタ重みの周波数表現をニューラル暗黙関数として学習し,周波数領域における畳み込みのスケーラビリティを向上させることを提案する。 さらに,提案したニューラル暗黙関数の実装により,大規模かつ表現力のある空間フィルタであっても,わずかに学習可能な重みでパラメータ化することができる。 提案するネットワークは,非常に大きな畳み込みカーネルを学習できるが,周波数から空間領域へ変換される場合,学習されたフィルタは十分に局所化され,実際は比較的小さい。 我々は、個別に最適化されたフィルタサイズの分析により、将来より効率的で効果的なモデルが可能になることを期待する。 https://github.com/GeJulia/NIFF

関連論文リスト

• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• The Power of Linear Combinations: Learning with Random Convolutions [2.0305676256390934]
  現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。 これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。 私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
  論文  参考訳（メタデータ） (2023-01-26T19:17:10Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Global Filter Networks for Image Classification [90.81352483076323]
  本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。 この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-07-01T17:58:16Z)
• Resolution learning in deep convolutional networks using scale-space theory [31.275270391367425]
  ディープ畳み込みニューラルネットワーク(CNN)の解像度は、一般的に、フィルタサイズを通じて受容野のサイズと、特徴写像上の層や強みのある畳み込みによって制限される。 我々は、ハードコードされた高解像度パラメータを廃止し、データから適切な解像度を学習することを提案する。 スケール空間理論を用いてフィルタの自己相似パラメトリゼーションを求め、ガウス微分フィルタの学習的組み合わせによりフィルタを近似するために、N-Jet: truncated Taylor級数を用いる。
  論文  参考訳（メタデータ） (2021-06-07T08:23:02Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm [5.3791844634527495]
  ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。 近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。 フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
  論文  参考訳（メタデータ） (2020-07-20T11:56:12Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。