論文の概要: CKConv: Continuous Kernel Convolution For Sequential Data

• arxiv url: http://arxiv.org/abs/2102.02611v1
• Date: Thu, 4 Feb 2021 13:51:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-05 16:19:28.897795
• Title: CKConv: Continuous Kernel Convolution For Sequential Data
• Title（参考訳）: ckconv:シーケンシャルデータのための連続カーネル畳み込み
• Authors: David W. Romero, Anna Kuzina, Erik J. Bekkers, Jakub M. Tomczak, Mark Hoogendoorn
• Abstract要約: 継続的カーネル畳み込みネットワーク(CKCNN)は、一様でないサンプルデータセットと不規則にサンプリングされたデータを扱うように設計されている。 CKCNNは、これらの目的のために設計されたニューラルなODEよりも、はるかに高速で簡単な方法で適合または性能が向上する。
• 参考スコア（独自算出の注目度）: 23.228639801282966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional neural architectures for sequential data present important limitations. Recurrent networks suffer from exploding and vanishing gradients, small effective memory horizons, and must be trained sequentially. Convolutional networks are unable to handle sequences of unknown size and their memory horizon must be defined a priori. In this work, we show that all these problems can be solved by formulating convolutional kernels in CNNs as continuous functions. The resulting Continuous Kernel Convolution (CKConv) allows us to model arbitrarily long sequences in a parallel manner, within a single operation, and without relying on any form of recurrence. We show that Continuous Kernel Convolutional Networks (CKCNNs) obtain state-of-the-art results in multiple datasets, e.g., permuted MNIST, and, thanks to their continuous nature, are able to handle non-uniformly sampled datasets and irregularly-sampled data natively. CKCNNs match or perform better than neural ODEs designed for these purposes in a much faster and simpler manner.
• Abstract（参考訳）: シーケンシャルデータに対する従来のニューラルネットワークアーキテクチャには,重要な制限がある。 繰り返しネットワークは、爆発と消失の勾配、小さな効果的なメモリの地平線に悩まされ、順次訓練されなければなりません。 畳み込みネットワークは未知のサイズのシーケンスを処理できず、そのメモリの地平線を事前定義しなければならない。 本研究では,CNNの畳み込みカーネルを連続関数として定式化することで,これらすべての問題を解くことができることを示す。 結果として生じる連続カーネル畳み込み(ckconv)は、任意の形式の再帰に依存することなく、単一の操作内で、任意に長いシーケンスを並列にモデル化できる。 連続カーネル畳み込みネットワーク(CKCNN)が複数のデータセット(例えば、permuted MNIST)で最先端の結果を得ることを示すとともに、その継続的な性質のおかげで、一様でないサンプルデータセットと不規則にサンプリングされたデータをネイティブに処理できることを示す。 CKCNNは、これらの目的のために設計されたニューラルODEよりもはるかに速く簡単な方法で一致またはより良いパフォーマンスを発揮します。

関連論文リスト

• Scalable Graph Compressed Convolutions [68.85227170390864]
  ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。 グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
  論文  参考訳（メタデータ） (2024-07-26T03:14:13Z)
• Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
  不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。 標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。 時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
  論文  参考訳（メタデータ） (2023-08-06T21:10:30Z)
• SMPConv: Self-moving Point Representations for Continuous Convolution [4.652175470883851]
  本稿では,ニューラルネットワークを使わずに連続的な畳み込みを構築するための代替手法を提案する。 重みパラメータが自由に動く自己移動点表現と連続関数の実装にスキームを用いる。 その軽量な構造のため、我々はまず大規模な環境で連続的畳み込みの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-05T09:36:30Z)
• Continuous-time convolutions model of event sequences [46.3471121117337]
  イベントシーケンスは不均一でスパースであり、従来のモデルは不適当である。 我々は、時間とともに一様でない事象の発生を処理するために設計された効率的な畳み込みニューラルネットワークに基づくCOTICを提案する。 COTICは、次のイベント時間とタイプを予測する際に既存のモデルよりも優れており、最も近いライバルの3.714と比較して平均1.5のランクに達している。
  論文  参考訳（メタデータ） (2023-02-13T10:34:51Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Towards a General Purpose CNN for Long Range Dependencies in $\mathrm{N}$D [49.57261544331683]
  構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。 1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。 私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
  論文  参考訳（メタデータ） (2022-06-07T15:48:02Z)
• Classification of Long Sequential Data using Circular Dilated Convolutional Neural Networks [10.014879130837912]
  循環拡張畳み込みニューラルネットワーク(CDIL-CNN)と呼ばれる対称型マルチスケールアーキテクチャを提案する。 本モデルでは,全ての位置で分類ロジットを付与し,簡単なアンサンブル学習を適用し,より良い判断を下すことができる。
  論文  参考訳（メタデータ） (2022-01-06T16:58:59Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
  Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。 室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
  論文  参考訳（メタデータ） (2021-01-17T18:28:23Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。