論文の概要: Analytic Learning of Convolutional Neural Network For Pattern Recognition

• arxiv url: http://arxiv.org/abs/2202.06504v1
• Date: Mon, 14 Feb 2022 06:32:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 17:22:13.095193
• Title: Analytic Learning of Convolutional Neural Network For Pattern Recognition
• Title（参考訳）: パターン認識のための畳み込みニューラルネットワークの解析学習
• Authors: Huiping Zhuang, Zhiping Lin, Yimin Yang and Kar-Ann Toh
• Abstract要約: バックプロパゲーション(BP)を用いた学習畳み込みニューラルネットワーク(CNN)は、時間とリソースを消費する。 解析的畳み込みニューラルネットワーク学習(ACnnL)を提案する。 ACnnLは、その類似した閉形式解を構築するが、正規化の制約が異なる。
• 参考スコア（独自算出の注目度）: 20.916630175697065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training convolutional neural networks (CNNs) with back-propagation (BP) is time-consuming and resource-intensive particularly in view of the need to visit the dataset multiple times. In contrast, analytic learning attempts to obtain the weights in one epoch. However, existing attempts to analytic learning considered only the multilayer perceptron (MLP). In this article, we propose an analytic convolutional neural network learning (ACnnL). Theoretically we show that ACnnL builds a closed-form solution similar to its MLP counterpart, but differs in their regularization constraints. Consequently, we are able to answer to a certain extent why CNNs usually generalize better than MLPs from the implicit regularization point of view. The ACnnL is validated by conducting classification tasks on several benchmark datasets. It is encouraging that the ACnnL trains CNNs in a significantly fast manner with reasonably close prediction accuracies to those using BP. Moreover, our experiments disclose a unique advantage of ACnnL under the small-sample scenario when training data are scarce or expensive.
• Abstract（参考訳）: トレーニング畳み込みニューラルネットワーク(cnns)とバックプロパゲーション(bp)は、特にデータセットを複数回訪問する必要があるという観点から、時間消費とリソース集約である。 対照的に、分析学習は一つの時代における重みを得ようとする。 しかし、既存の解析学習の試みは多層パーセプトロン(mlp)のみを考慮していた。 本稿では,解析的畳み込みニューラルネットワーク学習(ACnnL)を提案する。 理論的には、ACnnL は MLP と似た閉形式解を構築するが、正規化の制約が異なる。 その結果、暗黙の正規化の観点から、CNNが通常、MPPよりも良く一般化する理由にある程度答えることができる。 ACnnLは、いくつかのベンチマークデータセットで分類タスクを実行することで検証される。 ACnnL は CNN を極めて高速に訓練し,BP の使用者に対して合理的に近い精度で予測できることを推奨している。 さらに,トレーニングデータが少ない場合や費用がかかる場合,小規模サンプルシナリオにおいてacnnlのユニークな利点を明らかにした。

関連論文リスト

• On the rates of convergence for learning with convolutional neural networks [9.772773527230134]
  畳み込みニューラルネットワーク(CNN)の1側ゼロパディングと複数のチャネルによる近似と学習能力について検討した。 多くの学習問題におけるCNNに基づく推定器の収束率を導出する。 また、得られた分類率は、いくつかの一般的な設定において極小であることも示している。
  論文  参考訳（メタデータ） (2024-03-25T06:42:02Z)
• Benign Overfitting in Two-Layer ReLU Convolutional Neural Networks for XOR Data [24.86314525762012]
  勾配降下法により訓練されたReLU CNNがベイズ最適精度付近で実現できることを示す。 以上の結果から,CNNは高い相関性のある特徴が存在する場合でも,効率よくXOR問題を学習する能力を有することが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-03T11:31:37Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Separation of scales and a thermodynamic description of feature learning in some CNNs [2.28438857884398]
  ディープニューラルネットワーク(DNN)は、情報を圧縮して蒸留するための強力なツールである。 このような場合の一般的な戦略は、基礎となる高速顕微鏡変数の不安定な振る舞いを平均化する緩やかな自由度を特定することである。 ここでは,過パラメータ化深層畳み込みニューラルネットワーク(CNN)の訓練終了時に発生するスケールの分離について述べる。 深層学習の熱力学理論は、いくつかの深い非線形CNN玩具モデルに対して正確な予測をもたらす。
  論文  参考訳（メタデータ） (2021-12-31T10:49:55Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。