論文の概要: Arguments for the Unsuitability of Convolutional Neural Networks for Non--Local Tasks

• arxiv url: http://arxiv.org/abs/2102.11944v1
• Date: Tue, 23 Feb 2021 21:13:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-25 13:46:08.863047
• Title: Arguments for the Unsuitability of Convolutional Neural Networks for Non--Local Tasks
• Title（参考訳）: 非局所課題に対する畳み込みニューラルネットワークの不適合性に関する議論
• Authors: Sebastian Stabinger, David Peer, and Antonio Rodr\'iguez-S\'anchez
• Abstract要約: 比較タスクは本質的にグローバルであるため、畳み込み層は比較タスクにはほとんど使われないと主張する。 この洞察を用いて、比較タスクをソートタスクに再構成し、ソートネットワークでの発見を使用して、ニューラルネットワークが比較タスクを解くために必要なパラメータの数に対する低い境界を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks have established themselves over the past years as the state of the art method for image classification, and for many datasets, they even surpass humans in categorizing images. Unfortunately, the same architectures perform much worse when they have to compare parts of an image to each other to correctly classify this image. Until now, no well-formed theoretical argument has been presented to explain this deficiency. In this paper, we will argue that convolutional layers are of little use for such problems, since comparison tasks are global by nature, but convolutional layers are local by design. We will use this insight to reformulate a comparison task into a sorting task and use findings on sorting networks to propose a lower bound for the number of parameters a neural network needs to solve comparison tasks in a generalizable way. We will use this lower bound to argue that attention, as well as iterative/recurrent processing, is needed to prevent a combinatorial explosion.
• Abstract（参考訳）: 畳み込みニューラルネットワークは、画像分類の最先端の方法として過去数年間に確立され、多くのデータセットでは、画像の分類において人間を上回っています。 残念なことに、同じアーキテクチャは、画像を正しく分類するために画像の一部を互いに比較しなければならない場合、ずっと悪い結果をもたらす。 これまで、この不足を説明するための十分な理論的な議論は提示されていない。 本稿では,畳み込み層は本質的にはグローバルであるが,畳み込み層は設計によって局所的であるため,畳み込み層はそのような問題に対してはほとんど使われないと主張する。 この洞察を用いて、比較タスクをソートタスクに再構成し、ソートネットワークでの発見を使用して、ニューラルネットワークが比較タスクを一般化可能な方法で解決するために必要なパラメータ数に対する低い境界を提案する。 この低い境界を使用して、組み合わせ爆発を防ぐために注意と反復/繰り返し処理が必要であると主張します。

関連論文リスト

• Why do CNNs excel at feature extraction? A mathematical explanation [53.807657273043446]
  実世界のデータセットに似た画像を生成するのに使用できる特徴抽出に基づく画像分類の新しいモデルを提案する。 本研究では,特徴の存在を検知する一方向線形関数を構築し,畳み込みネットワークで実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-03T10:41:34Z)
• T-former: An Efficient Transformer for Image Inpainting [50.43302925662507]
  トランスフォーマーと呼ばれる注目に基づくネットワークアーキテクチャのクラスは、自然言語処理の分野で大きなパフォーマンスを示している。 本稿では,Taylorの展開に応じて,解像度に線形に関連付けられた新たな注意を設計し,この注意に基づいて,画像インペイントのためのネットワークである$T$-formerを設計する。 いくつかのベンチマークデータセットの実験により,提案手法は比較的少ないパラメータ数と計算複雑性を維持しつつ,最先端の精度を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-05-12T04:10:42Z)
• Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs [104.72108627191041]
  従来のニューラルネットワーク分類器は、最先端の生成モデルに匹敵する高品質な画像を生成することができることを示す。 マスクをベースとした再構成モジュールを提案し, 意味的勾配を意識し, 可視画像の合成を行う。 また,本手法は,画像テキスト基盤モデルに関して,テキスト・画像生成にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-27T11:25:35Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• CEC-CNN: A Consecutive Expansion-Contraction Convolutional Network for Very Small Resolution Medical Image Classification [0.8108972030676009]
  深層・中層・浅層からのマルチスケール特徴を保存できる新しいCNNアーキテクチャを提案する。 膵管腺癌(PDAC)CTの超低解像度パッチのデータセットを用いて,我々のネットワークが最先端のアートモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-27T20:01:12Z)
• Neural Knitworks: Patched Neural Implicit Representation Networks [1.0470286407954037]
  画像合成を実現する自然画像の暗黙的表現学習のためのアーキテクチャであるKnitworkを提案する。 私たちの知る限りでは、画像のインペインティング、超解像化、デノイングといった合成作業に適した座標ベースのパッチの実装は、これが初めてである。 その結果, ピクセルではなくパッチを用いた自然な画像のモデリングにより, 忠実度が高い結果が得られた。
  論文  参考訳（メタデータ） (2021-09-29T13:10:46Z)
• Efficient Deep Image Denoising via Class Specific Convolution [24.103826414190216]
  画素ワイズ分類に基づく画像復調のための効率的なディープニューラルネットワークを提案する。 提案手法は性能を犠牲にすることなく計算コストを削減できる。
  論文  参考訳（メタデータ） (2021-03-02T10:28:15Z)
• Convolutional neural networks compression with low rank and sparse tensor decompositions [0.0]
  畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて顕著な結果を示す。 現実のアプリケーションでは、エッジシステムやモバイルデバイス上で走るのに十分高速で軽量なモデルを開発することが不可欠である。 本研究では,テンソル分解に基づくニューラルネットワーク圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T13:53:18Z)
• Neural Sparse Representation for Image Restoration [116.72107034624344]
  スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。 本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。 実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
  論文  参考訳（メタデータ） (2020-06-08T05:15:17Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。