論文の概要: FlexConv: Continuous Kernel Convolutions with Differentiable Kernel
Sizes
- arxiv url: http://arxiv.org/abs/2110.08059v1
- Date: Fri, 15 Oct 2021 12:35:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 12:53:40.013172
- Title: FlexConv: Continuous Kernel Convolutions with Differentiable Kernel
Sizes
- Title（参考訳）: FlexConv: 異なるカーネルサイズを持つ継続的カーネルの畳み込み
- Authors: David W. Romero, Robert-Jan Bruintjes, Jakub M. Tomczak, Erik J.
Bekkers, Mark Hoogendoorn, Jan C. van Gemert
- Abstract要約: 最近の研究によると、CNNは異なるレイヤの異なるカーネルサイズから恩恵を受けているが、実際にはすべての可能な組み合わせを探索することは不可能である。
本稿では,学習可能なカーネルサイズの高い帯域幅の畳み込みカーネルを固定パラメータコストで学習可能な新しい畳み込み演算FlexConvを提案する。
- 参考スコア（独自算出の注目度）: 34.90912459206022
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When designing Convolutional Neural Networks (CNNs), one must select the size
of the convolutional kernels before training. Recent works show CNNs benefit
from different kernel sizes at different layers, but exploring all possible
combinations is unfeasible in practice. A more efficient approach is to learn
the kernel size during training. However, existing works that learn the kernel
size have a limited bandwidth. These approaches scale kernels by dilation, and
thus the detail they can describe is limited. In this work, we propose
FlexConv, a novel convolutional operation with which high bandwidth
convolutional kernels of learnable kernel size can be learned at a fixed
parameter cost. FlexNets model long-term dependencies without the use of
pooling, achieve state-of-the-art performance on several sequential datasets,
outperform recent works with learned kernel sizes, and are competitive with
much deeper ResNets on image benchmark datasets. Additionally, FlexNets can be
deployed at higher resolutions than those seen during training. To avoid
aliasing, we propose a novel kernel parameterization with which the frequency
of the kernels can be analytically controlled. Our novel kernel
parameterization shows higher descriptive power and faster convergence speed
than existing parameterizations. This leads to important improvements in
classification accuracy.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)を設計する場合、トレーニング前に畳み込みカーネルのサイズを選択する必要がある。
最近の研究によると、CNNは異なるレイヤの異なるカーネルサイズから恩恵を受けているが、実際にはすべての組み合わせを探索することは不可能である。
より効率的なアプローチは、トレーニング中にカーネルサイズを学ぶことだ。
しかし、カーネルサイズを学ぶ既存の作品は帯域幅が限られている。
これらのアプローチは、拡張によってカーネルをスケールし、記述できる詳細は限られている。
本稿では,学習可能なカーネルサイズの高い帯域幅畳み込みカーネルを一定のパラメータコストで学習可能な,新しい畳み込み演算flexconvを提案する。
FlexNetsは、プーリングを使わずに長期的な依存関係をモデル化し、いくつかのシーケンシャルなデータセットで最先端のパフォーマンスを達成し、学んだカーネルサイズで最近の成果を上回り、画像ベンチマークデータセット上でずっと深いResNetsと競合する。
さらに、flexnetsはトレーニング中に見られるものよりも高い解像度でデプロイできる。
エイリアシングを避けるために,カーネルの周波数を解析的に制御できる新しいカーネルパラメータ化を提案する。
我々の新しいカーネルパラメタライゼーションは、既存のパラメタライゼーションよりも高い記述力と高速な収束速度を示している。
これにより、分類精度が大幅に向上する。
関連論文リスト
- Kernel-U-Net: Multivariate Time Series Forecasting using Custom Kernels [1.8816077341295625]
Kernel-U-Netは、柔軟でカーネルにカスタマイズ可能なU字型ニューラルネットワークアーキテクチャである。
具体的には、カーネル-U-Netは入力時系列をカーネル操作からパッチに分割する手順を分離する。
1)特定のデータセットに適応するためのカーネルのカスタマイズの柔軟性、2)トランスフォーマー層の複雑さを線形に減らした計算効率の向上、である。
論文 参考訳（メタデータ） (2024-01-03T00:49:51Z) - Amortized Inference for Gaussian Process Hyperparameters of Structured
Kernels [5.1672267755831705]
異なるデータセットに対するパラメータ推論の補正は、トレーニング時間を劇的に高速化するための有望なアプローチである。
本稿では,固定化されたカーネル構造ではなく,完全なカーネル構造ファミリ上でのカーネルパラメータのアモータイズを提案する。
大規模なカーネルとデータセットの競合テスト性能と合わせて,推論時間を大幅に短縮することを示す。
論文 参考訳（メタデータ） (2023-06-16T13:02:57Z) - Canvas: End-to-End Kernel Architecture Search in Neural Networks [1.1612831901050744]
コンボリューションの代替として高品質なカーネルを見つけるために、エンドツーエンドのフレームワークであるCanvasを構築します。
Canvasは,従来の最先端技術と比較して平均1.5倍の高速化を実現し,精度の低下と探索効率を許容できることを示した。
論文 参考訳（メタデータ） (2023-04-16T10:05:42Z) - Drastically Reducing the Number of Trainable Parameters in Deep CNNs by
Inter-layer Kernel-sharing [0.4129225533930965]
ディープ畳み込みニューラルネットワーク(DCNN)は多くのコンピュータビジョンタスクの最先端(SOTA)アプローチとなっている。
ここでは、トレーニング可能なパラメータの数とメモリフットプリントを削減し、複数の畳み込み層間でカーネルを共有する簡単な方法を提案する。
論文 参考訳（メタデータ） (2022-10-23T18:14:30Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Hyper-Convolutions via Implicit Kernels for Medical Imaging [18.98078260974008]
本稿では、空間座標を用いて畳み込みカーネルを暗黙的に符号化する新しいビルディングブロックであるthithyper-convolutionを提案する。
実験では、通常の畳み込みをハイパー畳み込みに置き換えることで、少ないパラメータで性能が向上し、ノイズに対する堅牢性が向上することを示した。
論文 参考訳（メタデータ） (2022-02-06T03:56:19Z) - Kernel Continual Learning [117.79080100313722]
カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。
エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。
タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
論文 参考訳（メタデータ） (2021-07-12T22:09:30Z) - Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。
この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。
KITT: Kernel Identification through Transformersを提案する。
論文 参考訳（メタデータ） (2021-06-15T14:32:38Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。