論文の概要: Towards a General Purpose CNN for Long Range Dependencies in $\mathrm{N}$D

• arxiv url: http://arxiv.org/abs/2206.03398v1
• Date: Tue, 7 Jun 2022 15:48:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 13:40:16.983704
• Title: Towards a General Purpose CNN for Long Range Dependencies in $\mathrm{N}$D
• Title（参考訳）: $\mathrm{N}$Dにおける長距離依存のための汎用CNN
• Authors: David W. Romero, David M. Knigge, Albert Gu, Erik J. Bekkers, Efstratios Gavves, Jakub M. Tomczak, Mark Hoogendoorn
• Abstract要約: 構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。 1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。 私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
• 参考スコア（独自算出の注目度）: 49.57261544331683
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of Convolutional Neural Networks (CNNs) is widespread in Deep Learning due to a range of desirable model properties which result in an efficient and effective machine learning framework. However, performant CNN architectures must be tailored to specific tasks in order to incorporate considerations such as the input length, resolution, and dimentionality. In this work, we overcome the need for problem-specific CNN architectures with our Continuous Convolutional Neural Network (CCNN): a single CNN architecture equipped with continuous convolutional kernels that can be used for tasks on data of arbitrary resolution, dimensionality and length without structural changes. Continuous convolutional kernels model long range dependencies at every layer, and remove the need for downsampling layers and task-dependent depths needed in current CNN architectures. We show the generality of our approach by applying the same CCNN to a wide set of tasks on sequential (1$\mathrm{D}$) and visual data (2$\mathrm{D}$). Our CCNN performs competitively and often outperforms the current state-of-the-art across all tasks considered.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の使用は、機械学習フレームワークの効率的かつ効率的な結果をもたらす、望ましいモデル特性の幅により、ディープラーニングで広く利用されている。 しかし、性能の高いCNNアーキテクチャは、入力長、解像度、拡張性といった考慮事項を取り入れるために、特定のタスクに合わせる必要がある。 本研究では、連続畳み込みニューラルネットワーク(CCNN)による問題固有のCNNアーキテクチャの必要性を克服する。これは連続畳み込みカーネルを備えた単一のCNNアーキテクチャで、任意の解像度、次元、長さのデータを、構造的な変更なしにタスクに使用できる。 連続畳み込みカーネルは、各レイヤの長距離依存性をモデル化し、現在のcnnアーキテクチャに必要なダウンサンプリング層とタスク依存の深さの必要性を取り除く。 我々は、シーケンシャル (1$\mathrm{d}$) とビジュアルデータ (2$\mathrm{d}$) の幅広いタスクに同じccnnを適用することにより、我々のアプローチの汎用性を示す。 私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。

関連論文リスト

• Graph Neural Networks Need Cluster-Normalize-Activate Modules [19.866482154218374]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの非ユークリッドディープラーニングモデルである。 本稿では,CNA(Cluster-Normalize-Activate)という3つのステップからなるプラグアンドプレイモジュールを提案する。 CNAはノード分類とプロパティ予測タスクにおける最先端の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-12-05T10:59:20Z)
• Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition [0.0]
  ディープ畳み込みニューラルネットワーク(CNN)は、幅広い画像処理アプリケーションで非常に成功したことが示されている。 モデルパラメータの増大と大量のトレーニングデータの増加により、複雑なCNNを効率的に訓練するための並列化戦略が必要である。
  論文  参考訳（メタデータ） (2024-08-26T17:35:01Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• A Domain Decomposition-Based CNN-DNN Architecture for Model Parallel Training Applied to Image Recognition Problems [0.0]
  モデル並列トレーニング戦略を自然にサポートする新しいCNN-DNNアーキテクチャを提案する。 提案手法は,グローバルモデルと比較して,必要なトレーニング時間を著しく短縮することができる。 その結果,提案手法は,基礎となる分類問題の精度向上にも有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-02-13T18:06:59Z)
• Modelling Long Range Dependencies in $N$D: From Task-Specific to a General Purpose CNN [47.205463459723056]
  我々は、任意の解像度、次元、長さのデータを処理することができる単一のCNNであるContinuous Convolutional Neural Network (CCNN)を提案する。 主要なコンポーネントは、各レイヤにおける長距離依存関係をモデル化する継続的畳み込みカーネルである。 私たちのCCNNは、検討されたすべてのタスクにおいて、現在の最先端よりも優れています。
  論文  参考訳（メタデータ） (2023-01-25T12:12:47Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method [69.49386965992464]
  本稿では, 汎用的かつ柔軟な構造化プルーニング次元と, 強力かつ効率的な再加重正規化手法を組み合わせたブロック型プルーニングフレームワークを提案する。 我々のフレームワークは普遍的であり、CNNとRNNの両方に適用できる。 リアルタイムモバイルアクセラレーションと精度の妥協のないCNNとRNNの共通カバレッジを実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2020-01-23T03:30:56Z)
• Disentangling Trainability and Generalization in Deep Neural Networks [45.15453323967438]
  我々は,ニューラルネットワークのトレーニング性と一般化のために,NTK(Neural Tangent Kernel)のスペクトルを分析した。 グローバル平均プールのないCNNはFCNとほぼ同じ挙動を示すが、プールを持つCNNは著しく異なり、しばしば一般化性能が向上している。
  論文  参考訳（メタデータ） (2019-12-30T18:53:24Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。