論文の概要: Boosting the performance of deep learning: A gradient Boosting approach
to training convolutional and deep neural network
- arxiv url: http://arxiv.org/abs/2302.11327v1
- Date: Wed, 22 Feb 2023 12:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 15:24:42.131502
- Title: Boosting the performance of deep learning: A gradient Boosting approach
to training convolutional and deep neural network
- Title（参考訳）: ディープラーニングの性能向上:畳み込みニューラルネットワークと深層ニューラルネットワークの訓練のための勾配向上アプローチ
- Authors: Seyedsaman Emami and Gonzalo Mart\'inez-Mu\~noz
- Abstract要約: グラディエントブースティング(GB)に基づく畳み込みニューラルネットワーク(CNN)とディープニューラルネットワークの訓練方法を紹介する。
提案モデルでは, 標準CNNとDeep-NNの分類精度において, 同じアーキテクチャで優れた性能を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep learning has revolutionized the computer vision and image classification
domains. In this context Convolutional Neural Networks (CNNs) based
architectures are the most widely applied models. In this article, we
introduced two procedures for training Convolutional Neural Networks (CNNs) and
Deep Neural Network based on Gradient Boosting (GB), namely GB-CNN and GB-DNN.
These models are trained to fit the gradient of the loss function or
pseudo-residuals of previous models. At each iteration, the proposed method
adds one dense layer to an exact copy of the previous deep NN model. The
weights of the dense layers trained on previous iterations are frozen to
prevent over-fitting, permitting the model to fit the new dense as well as to
fine-tune the convolutional layers (for GB-CNN) while still utilizing the
information already learned. Through extensive experimentation on different
2D-image classification and tabular datasets, the presented models show
superior performance in terms of classification accuracy with respect to
standard CNN and Deep-NN with the same architecture.
- Abstract（参考訳）: ディープラーニングはコンピュータビジョンと画像分類領域に革命をもたらした。
この文脈では、畳み込みニューラルネットワーク(CNN)ベースのアーキテクチャが最も広く適用されているモデルである。
本稿では, GB-CNN と GB-DNN に基づく畳み込みニューラルネットワーク (CNN) とディープニューラルネットワーク (Deep Neural Network) の2つの訓練手順を紹介した。
これらのモデルは、損失関数の勾配や以前のモデルの擬似残差に適合するように訓練されている。
各イテレーションで、提案手法では、前のディープnnモデルの正確なコピーに1つの密層を追加する。
以前のイテレーションでトレーニングされた高密度層の重みは、過度な適合を防ぐために凍結され、モデルが新しい高密度層に適合し、既に学んだ情報を利用して畳み込み層(GB-CNN)を微調整することができる。
異なる2次元画像分類と表付きデータセットの広範な実験を通じて、同じアーキテクチャを持つ標準CNNとDeep-NNの分類精度において優れた性能を示す。
関連論文リスト
- Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition [0.0]
ディープ畳み込みニューラルネットワーク(CNN)は、幅広い画像処理アプリケーションで非常に成功したことが示されている。
モデルパラメータの増大と大量のトレーニングデータの増加により、複雑なCNNを効率的に訓練するための並列化戦略が必要である。
論文 参考訳（メタデータ） (2024-08-26T17:35:01Z) - CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。
Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
論文 参考訳（メタデータ） (2024-04-23T08:19:08Z) - Unveiling the Unseen: Identifiable Clusters in Trained Depthwise
Convolutional Kernels [56.69755544814834]
深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。
本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
論文 参考訳（メタデータ） (2024-01-25T19:05:53Z) - A Domain Decomposition-Based CNN-DNN Architecture for Model Parallel Training Applied to Image Recognition Problems [0.0]
モデル並列トレーニング戦略を自然にサポートする新しいCNN-DNNアーキテクチャを提案する。
提案手法は,グローバルモデルと比較して,必要なトレーニング時間を著しく短縮することができる。
その結果,提案手法は,基礎となる分類問題の精度向上にも有効であることが示唆された。
論文 参考訳（メタデータ） (2023-02-13T18:06:59Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳（メタデータ） (2022-12-05T14:47:52Z) - Variational Tensor Neural Networks for Deep Learning [0.0]
深部ニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。
これにより、大きなパラメータ空間上で効率的にトレーニングできるスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現される。
我々はTNNモデルを設計し、線形および非線形回帰、データ分類、MNIST手書き桁の画像認識のためのベンチマーク結果を提供することにより、提案手法の精度と効率を検証した。
論文 参考訳（メタデータ） (2022-11-26T20:24:36Z) - Self-interpretable Convolutional Neural Networks for Text Classification [5.55878488884108]
本論文では,ReLU-DNNに固有の局所線型モデルを用いて,テキスト分類問題に対する畳み込みニューラルネットワークの解釈手法を提案する。
提案手法は,より複雑なCNNモデルに対して,自己解釈可能で,同等の性能を有する擬似モデルを生成する。
論文 参考訳（メタデータ） (2021-05-18T15:19:59Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳（メタデータ） (2021-02-03T09:30:45Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳（メタデータ） (2020-12-10T22:30:25Z) - Adaptive Signal Variances: CNN Initialization Through Modern
Architectures [0.7646713951724012]
深層畳み込みニューラルネットワーク(CNN)は、画像処理タスクにおけるそのパフォーマンスに対する不安定な信頼を達成している。
CNN実践者は、学習の安定性が各層でモデルパラメータを初期化する方法に依存するという事実を広く理解している。
論文 参考訳（メタデータ） (2020-08-16T11:26:29Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。