論文の概要: CNNs Avoid Curse of Dimensionality by Learning on Patches

• arxiv url: http://arxiv.org/abs/2205.10760v4
• Date: Wed, 12 Apr 2023 17:33:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 19:03:05.443730
• Title: CNNs Avoid Curse of Dimensionality by Learning on Patches
• Title（参考訳）: パッチの学習によるCNNの次元曲線回避
• Authors: Vamshi C. Madala and Shivkumar Chandrasekaran and Jason Bunk
• Abstract要約: 我々は、畳み込みニューラルネットワーク(CNN)が画像パッチの領域で動作すると主張している。 我々の研究は、CNNの一般化誤差に対する事前誤差を導出した最初のものである。 我々のパッチベースの理論はまた、CNNの一般化誤差を改善するために、Cutout、CutMix、ランダムトリミングといったデータ拡張技術が有効である理由を説明する。
• 参考スコア（独自算出の注目度）: 11.546219454021935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the success of convolutional neural networks (CNNs) in numerous computer vision tasks and their extraordinary generalization performances, several attempts to predict the generalization errors of CNNs have only been limited to a posteriori analyses thus far. A priori theories explaining the generalization performances of deep neural networks have mostly ignored the convolutionality aspect and do not specify why CNNs are able to seemingly overcome curse of dimensionality on computer vision tasks like image classification where the image dimensions are in thousands. Our work attempts to explain the generalization performance of CNNs on image classification under the hypothesis that CNNs operate on the domain of image patches. Ours is the first work we are aware of to derive an a priori error bound for the generalization error of CNNs and we present both quantitative and qualitative evidences in the support of our theory. Our patch-based theory also offers explanation for why data augmentation techniques like Cutout, CutMix and random cropping are effective in improving the generalization error of CNNs.
• Abstract（参考訳）: 多くのコンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功と、その異常な一般化性能にもかかわらず、CNNの一般化エラーを予測しようとする試みは、これまでのところ、後続解析に限られている。 ディープニューラルネットワークの一般化性能を説明する先駆的な理論は、畳み込みの側面をほとんど無視しており、CNNが画像次元が数千である画像分類のようなコンピュータビジョンタスクにおいて、次元性の呪いを克服できる理由を明らかにしていない。 本研究では,CNNが画像パッチの領域で動作するという仮説の下で,画像分類におけるCNNの一般化性能を説明する。 我々の研究は、cnnの一般化誤差に束縛された事前誤差を導出する最初の研究であり、我々の理論を支持するために定量的かつ定性的な証拠を提示する。 我々のパッチベースの理論はまた、CNNの一般化誤差を改善するために、Cutout、CutMix、ランダムトリミングといったデータ拡張技術が有効である理由を説明する。

関連論文リスト

• A Neurosymbolic Framework for Bias Correction in Convolutional Neural Networks [2.249916681499244]
  我々は、訓練されたCNNにおいて、バイアス補正のためのNeSyBiCorと呼ばれるニューロシンボリックフレームワークを導入する。 我々のフレームワークは、"Places"データセットのサブセットでトレーニングされたCNNのバイアスを修正することに成功した。
  論文  参考訳（メタデータ） (2024-05-24T19:09:53Z)
• Improving the Accuracy and Robustness of CNNs Using a Deep CCA Neural Data Regularizer [2.026424957803652]
  畳み込みニューラルネットワーク(CNN)がオブジェクト認識においてより正確になるにつれて、それらの表現は霊長類の視覚システムとよりよく似ている。 この問題に対処する以前の試みは、正規化法の制限により、精度が極端に向上した。 我々は,CNNのイメージ表現とサル視覚野との類似性を最適化するために,ディープ相関解析(DCCA)を用いた新しいCNN用ニューラルデータ正規化器を開発した。
  論文  参考訳（メタデータ） (2022-09-06T15:40:39Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks [61.60177890353585]
  深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。 ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。 我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
  論文  参考訳（メタデータ） (2022-05-27T08:06:40Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Color Channel Perturbation Attacks for Fooling Convolutional Neural Networks and A Defense Against Such Attacks [16.431689066281265]
  Conalvolutional Neural Networks(CNN)は、強力なデータ依存型階層的特徴抽出方法として登場した。 ネットワークがトレーニングサンプルを非常に容易に満たしていることが観察される。 CNNを騙すために,カラーチャネル摂動(CCP)攻撃を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:35:29Z)
• The shape and simplicity biases of adversarially robust ImageNet-trained CNNs [9.707679445925516]
  本稿では,AlexNet,GoogLeNet,ResNet-50モデルの汎用性を実現するための形状バイアスと内部機構について検討する。 興味深いことに、敵の訓練はCNNの「不正化」過程において隠れたニューロンに3つの単純バイアスを誘導する。
  論文  参考訳（メタデータ） (2020-06-16T16:38:16Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。