論文の概要: Towards a General Purpose CNN for Long Range Dependencies in
$\mathrm{N}$D
- arxiv url: http://arxiv.org/abs/2206.03398v1
- Date: Tue, 7 Jun 2022 15:48:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 13:40:16.983704
- Title: Towards a General Purpose CNN for Long Range Dependencies in
$\mathrm{N}$D
- Title(参考訳): $\mathrm{N}$Dにおける長距離依存のための汎用CNN
- Authors: David W. Romero, David M. Knigge, Albert Gu, Erik J. Bekkers,
Efstratios Gavves, Jakub M. Tomczak, Mark Hoogendoorn
- Abstract要約: 構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。
1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。
私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
- 参考スコア(独自算出の注目度): 49.57261544331683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The use of Convolutional Neural Networks (CNNs) is widespread in Deep
Learning due to a range of desirable model properties which result in an
efficient and effective machine learning framework. However, performant CNN
architectures must be tailored to specific tasks in order to incorporate
considerations such as the input length, resolution, and dimentionality. In
this work, we overcome the need for problem-specific CNN architectures with our
Continuous Convolutional Neural Network (CCNN): a single CNN architecture
equipped with continuous convolutional kernels that can be used for tasks on
data of arbitrary resolution, dimensionality and length without structural
changes. Continuous convolutional kernels model long range dependencies at
every layer, and remove the need for downsampling layers and task-dependent
depths needed in current CNN architectures. We show the generality of our
approach by applying the same CCNN to a wide set of tasks on sequential
(1$\mathrm{D}$) and visual data (2$\mathrm{D}$). Our CCNN performs
competitively and often outperforms the current state-of-the-art across all
tasks considered.
- Abstract(参考訳): 畳み込みニューラルネットワーク(CNN)の使用は、機械学習フレームワークの効率的かつ効率的な結果をもたらす、望ましいモデル特性の幅により、ディープラーニングで広く利用されている。
しかし、性能の高いCNNアーキテクチャは、入力長、解像度、拡張性といった考慮事項を取り入れるために、特定のタスクに合わせる必要がある。
本研究では、連続畳み込みニューラルネットワーク(CCNN)による問題固有のCNNアーキテクチャの必要性を克服する。これは連続畳み込みカーネルを備えた単一のCNNアーキテクチャで、任意の解像度、次元、長さのデータを、構造的な変更なしにタスクに使用できる。
連続畳み込みカーネルは、各レイヤの長距離依存性をモデル化し、現在のcnnアーキテクチャに必要なダウンサンプリング層とタスク依存の深さの必要性を取り除く。
我々は、シーケンシャル (1$\mathrm{d}$) とビジュアルデータ (2$\mathrm{d}$) の幅広いタスクに同じccnnを適用することにより、我々のアプローチの汎用性を示す。
私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
関連論文リスト
- Transferability of Convolutional Neural Networks in Stationary Learning
Tasks [96.00428692404354]
本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。
このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。
以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
論文 参考訳(メタデータ) (2023-07-21T13:51:45Z) - A Domain Decomposition-Based CNN-DNN Architecture for Model Parallel Training Applied to Image Recognition Problems [0.0]
モデル並列トレーニング戦略を自然にサポートする新しいCNN-DNNアーキテクチャを提案する。
提案手法は,グローバルモデルと比較して,必要なトレーニング時間を著しく短縮することができる。
その結果,提案手法は,基礎となる分類問題の精度向上にも有効であることが示唆された。
論文 参考訳(メタデータ) (2023-02-13T18:06:59Z) - Modelling Long Range Dependencies in $N$D: From Task-Specific to a
General Purpose CNN [47.205463459723056]
我々は、任意の解像度、次元、長さのデータを処理することができる単一のCNNであるContinuous Convolutional Neural Network (CCNN)を提案する。
主要なコンポーネントは、各レイヤにおける長距離依存関係をモデル化する継続的畳み込みカーネルである。
私たちのCCNNは、検討されたすべてのタスクにおいて、現在の最先端よりも優れています。
論文 参考訳(メタデータ) (2023-01-25T12:12:47Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳(メタデータ) (2022-08-01T17:19:32Z) - An Alternative Practice of Tropical Convolution to Traditional
Convolutional Neural Networks [0.5837881923712392]
トロピカル畳み込みニューラルネットワーク (TCNNs) と呼ばれる新しいタイプのCNNを提案する。
TCNNは、従来の畳み込み層における乗算と加算をそれぞれ加算とmin/max演算に置き換える熱帯畳み込みの上に構築されている。
我々は,MNIST と CIFAR10 の画像データセットにおいて,通常の畳み込み層よりも表現力が高いことを示す。
論文 参考訳(メタデータ) (2021-03-03T00:13:30Z) - BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted
Regularization Method [69.49386965992464]
本稿では, 汎用的かつ柔軟な構造化プルーニング次元と, 強力かつ効率的な再加重正規化手法を組み合わせたブロック型プルーニングフレームワークを提案する。
我々のフレームワークは普遍的であり、CNNとRNNの両方に適用できる。
リアルタイムモバイルアクセラレーションと精度の妥協のないCNNとRNNの共通カバレッジを実現するのはこれが初めてである。
論文 参考訳(メタデータ) (2020-01-23T03:30:56Z) - Disentangling Trainability and Generalization in Deep Neural Networks [45.15453323967438]
我々は,ニューラルネットワークのトレーニング性と一般化のために,NTK(Neural Tangent Kernel)のスペクトルを分析した。
グローバル平均プールのないCNNはFCNとほぼ同じ挙動を示すが、プールを持つCNNは著しく異なり、しばしば一般化性能が向上している。
論文 参考訳(メタデータ) (2019-12-30T18:53:24Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳(メタデータ) (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。