論文の概要: CKConv: Continuous Kernel Convolution For Sequential Data
- arxiv url: http://arxiv.org/abs/2102.02611v1
- Date: Thu, 4 Feb 2021 13:51:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-05 16:19:28.897795
- Title: CKConv: Continuous Kernel Convolution For Sequential Data
- Title(参考訳): ckconv:シーケンシャルデータのための連続カーネル畳み込み
- Authors: David W. Romero, Anna Kuzina, Erik J. Bekkers, Jakub M. Tomczak, Mark
Hoogendoorn
- Abstract要約: 継続的カーネル畳み込みネットワーク(CKCNN)は、一様でないサンプルデータセットと不規則にサンプリングされたデータを扱うように設計されている。
CKCNNは、これらの目的のために設計されたニューラルなODEよりも、はるかに高速で簡単な方法で適合または性能が向上する。
- 参考スコア(独自算出の注目度): 23.228639801282966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional neural architectures for sequential data present important
limitations. Recurrent networks suffer from exploding and vanishing gradients,
small effective memory horizons, and must be trained sequentially.
Convolutional networks are unable to handle sequences of unknown size and their
memory horizon must be defined a priori. In this work, we show that all these
problems can be solved by formulating convolutional kernels in CNNs as
continuous functions. The resulting Continuous Kernel Convolution (CKConv)
allows us to model arbitrarily long sequences in a parallel manner, within a
single operation, and without relying on any form of recurrence. We show that
Continuous Kernel Convolutional Networks (CKCNNs) obtain state-of-the-art
results in multiple datasets, e.g., permuted MNIST, and, thanks to their
continuous nature, are able to handle non-uniformly sampled datasets and
irregularly-sampled data natively. CKCNNs match or perform better than neural
ODEs designed for these purposes in a much faster and simpler manner.
- Abstract(参考訳): シーケンシャルデータに対する従来のニューラルネットワークアーキテクチャには,重要な制限がある。
繰り返しネットワークは、爆発と消失の勾配、小さな効果的なメモリの地平線に悩まされ、順次訓練されなければなりません。
畳み込みネットワークは未知のサイズのシーケンスを処理できず、そのメモリの地平線を事前定義しなければならない。
本研究では,CNNの畳み込みカーネルを連続関数として定式化することで,これらすべての問題を解くことができることを示す。
結果として生じる連続カーネル畳み込み(ckconv)は、任意の形式の再帰に依存することなく、単一の操作内で、任意に長いシーケンスを並列にモデル化できる。
連続カーネル畳み込みネットワーク(CKCNN)が複数のデータセット(例えば、permuted MNIST)で最先端の結果を得ることを示すとともに、その継続的な性質のおかげで、一様でないサンプルデータセットと不規則にサンプリングされたデータをネイティブに処理できることを示す。
CKCNNは、これらの目的のために設計されたニューラルODEよりもはるかに速く簡単な方法で一致またはより良いパフォーマンスを発揮します。
関連論文リスト
- Adaptive Growth: Real-time CNN Layer Expansion [0.0]
本研究では,データ入力に基づいて,畳み込みニューラルネットワーク(CNN)の畳み込み層を動的に進化させるアルゴリズムを提案する。
厳密なアーキテクチャの代わりに、我々のアプローチはカーネルを畳み込み層に反復的に導入し、様々なデータに対してリアルタイムに応答する。
興味深いことに、我々の教師なしの手法は、さまざまなデータセットにまたがって教師なしの手法を上回った。
論文 参考訳(メタデータ) (2023-09-06T14:43:58Z) - Time-Parameterized Convolutional Neural Networks for Irregularly Sampled
Time Series [26.77596449192451]
不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。
標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。
時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
論文 参考訳(メタデータ) (2023-08-06T21:10:30Z) - SMPConv: Self-moving Point Representations for Continuous Convolution [4.652175470883851]
本稿では,ニューラルネットワークを使わずに連続的な畳み込みを構築するための代替手法を提案する。
重みパラメータが自由に動く自己移動点表現と連続関数の実装にスキームを用いる。
その軽量な構造のため、我々はまず大規模な環境で連続的畳み込みの有効性を実証する。
論文 参考訳(メタデータ) (2023-04-05T09:36:30Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳(メタデータ) (2022-10-21T15:56:13Z) - Towards a General Purpose CNN for Long Range Dependencies in
$\mathrm{N}$D [49.57261544331683]
構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。
1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。
私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
論文 参考訳(メタデータ) (2022-06-07T15:48:02Z) - Classification of Long Sequential Data using Circular Dilated
Convolutional Neural Networks [10.014879130837912]
循環拡張畳み込みニューラルネットワーク(CDIL-CNN)と呼ばれる対称型マルチスケールアーキテクチャを提案する。
本モデルでは,全ての位置で分類ロジットを付与し,簡単なアンサンブル学習を適用し,より良い判断を下すことができる。
論文 参考訳(メタデータ) (2022-01-06T16:58:59Z) - Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。
我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。
CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文 参考訳(メタデータ) (2021-06-15T04:44:52Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳(メタデータ) (2021-04-03T09:08:12Z) - Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。
室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
論文 参考訳(メタデータ) (2021-01-17T18:28:23Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳(メタデータ) (2020-09-04T20:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。