論文の概要: On the rates of convergence for learning with convolutional neural networks

• arxiv url: http://arxiv.org/abs/2403.16459v2
• Date: Tue, 9 Apr 2024 03:06:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 19:08:09.026978
• Title: On the rates of convergence for learning with convolutional neural networks
• Title（参考訳）: 畳み込みニューラルネットワークを用いた学習における収束率について
• Authors: Yunfei Yang, Han Feng, Ding-Xuan Zhou,
• Abstract要約: 畳み込みニューラルネットワーク(CNN)の1側ゼロパディングと複数のチャネルによる近似と学習能力について検討した。 多くの学習問題におけるCNNに基づく推定器の収束率を導出する。 また、得られた分類率は、いくつかの一般的な設定において極小であることも示している。
• 参考スコア（独自算出の注目度）: 9.772773527230134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study approximation and learning capacities of convolutional neural networks (CNNs) with one-side zero-padding and multiple channels. Our first result proves a new approximation bound for CNNs with certain constraint on the weights. Our second result gives new analysis on the covering number of feed-forward neural networks with CNNs as special cases. The analysis carefully takes into account the size of the weights and hence gives better bounds than the existing literature in some situations. Using these two results, we are able to derive rates of convergence for estimators based on CNNs in many learning problems. In particular, we establish minimax optimal convergence rates of the least squares based on CNNs for learning smooth functions in the nonparametric regression setting. For binary classification, we derive convergence rates for CNN classifiers with hinge loss and logistic loss. It is also shown that the obtained rates for classification are minimax optimal in some common settings.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の1側ゼロパディングと複数のチャネルによる近似と学習能力について検討した。 最初の結果は、重みに一定の制約を課したCNNに対する新しい近似を証明した。 2つ目の結果は、CNNを特別に用いたフィードフォワードニューラルネットワークのカバー数に関する新たな分析結果である。 この分析は、重量の大きさを慎重に考慮し、いくつかの状況において既存の文献よりも良い境界を与える。 これら2つの結果を用いて,多くの学習問題におけるCNNに基づく推定器の収束率を導出することができる。 特に、非パラメトリック回帰設定における滑らかな関数を学習するためのCNNに基づいて、最小二乗の最小収束率を確立する。 バイナリ分類では、ヒンジ損失とロジスティック損失を有するCNN分類器の収束率を導出する。 また、得られた分類率は、いくつかの一般的な設定において極小であることも示している。

関連論文リスト

• Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition [0.0]
  ディープ畳み込みニューラルネットワーク(CNN)は、幅広い画像処理アプリケーションで非常に成功したことが示されている。 モデルパラメータの増大と大量のトレーニングデータの増加により、複雑なCNNを効率的に訓練するための並列化戦略が必要である。
  論文  参考訳（メタデータ） (2024-08-26T17:35:01Z)
• CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
  蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
  論文  参考訳（メタデータ） (2024-04-23T08:19:08Z)
• Benign Overfitting in Two-Layer ReLU Convolutional Neural Networks for XOR Data [24.86314525762012]
  勾配降下法により訓練されたReLU CNNがベイズ最適精度付近で実現できることを示す。 以上の結果から,CNNは高い相関性のある特徴が存在する場合でも,効率よくXOR問題を学習する能力を有することが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-03T11:31:37Z)
• A Proximal Algorithm for Network Slimming [2.8148957592979427]
  畳み込みニューラルネットワーク(CNN)の一般的なチャネルプルーニング法は、CNNの訓練に段階的な降下を用いる。 我々は、CNNをスパースで正確な構造に向けて訓練するための、近位NSと呼ばれる代替アルゴリズムを開発した。 実験の結果,1ラウンドのトレーニングの後,近位NSは競争精度と圧縮性を備えたCNNが得られることがわかった。
  論文  参考訳（メタデータ） (2023-07-02T23:34:12Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Analytic Learning of Convolutional Neural Network For Pattern Recognition [20.916630175697065]
  バックプロパゲーション(BP)を用いた学習畳み込みニューラルネットワーク(CNN)は、時間とリソースを消費する。 解析的畳み込みニューラルネットワーク学習(ACnnL)を提案する。 ACnnLは、その類似した閉形式解を構築するが、正規化の制約が異なる。
  論文  参考訳（メタデータ） (2022-02-14T06:32:21Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。