Fugu-MT 論文翻訳(概要): Comparison between layer-to-layer network training and conventional network training using Deep Convolutional Neural Networks

論文の概要: Comparison between layer-to-layer network training and conventional network training using Deep Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2303.15245v2
Date: Thu, 11 May 2023 03:38:10 GMT
ステータス: 処理完了
システム内更新日: 2023-05-12 17:52:31.627163
Title: Comparison between layer-to-layer network training and conventional network training using Deep Convolutional Neural Networks
Title（参考訳）: ディープ畳み込みニューラルネットワークを用いた層間ネットワークトレーニングと従来のネットワークトレーニングの比較
Authors: Kiran Kumar Ashish Bhyravabhottla and WonSook Lee
Abstract要約: 畳み込みニューラルネットワーク(CNN)は、データから特徴を抽出する効果のため、様々なアプリケーションで広く利用されている。層間学習法を提案し,その性能を従来の訓練法と比較する。実験の結果, 層間学習法は両モデルの従来の訓練法よりも優れていた。
参考スコア（独自算出の注目度）: 0.6853165736531939
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Title: Comparison between layer-to-layer network training and conventional network training using Deep Convolutional Neural Networks Abstract: Convolutional neural networks (CNNs) are widely used in various applications due to their effectiveness in extracting features from data. However, the performance of a CNN heavily depends on its architecture and training process. In this study, we propose a layer-to-layer training method and compare its performance with the conventional training method. In the layer-to-layer training approach, we treat a portion of the early layers as a student network and the later layers as a teacher network. During each training step, we incrementally train the student network to learn from the output of the teacher network, and vice versa. We evaluate this approach on VGG16, ResNext, and DenseNet networks without pre-trained ImageNet weights and a regular CNN model. Our experiments show that the layer-to-layer training method outperforms the conventional training method for both models. Specifically, we achieve higher accuracy on the test set for the VGG16, ResNext, and DeseNet networks and the CNN model using layer-to-layer training compared to the conventional training method. Overall, our study highlights the importance of layer-wise training in CNNs and suggests that layer-to-layer training can be a promising approach for improving the accuracy of CNNs.
Abstract（参考訳）: タイトル:層間ネットワークトレーニングとディープ畳み込みニューラルネットワークを用いた従来のネットワークトレーニングの比較: 畳み込みニューラルネットワーク(cnns)は、データから特徴を抽出するのに効果があるため、様々なアプリケーションで広く使われている。しかし、CNNのパフォーマンスはアーキテクチャとトレーニングプロセスに大きく依存している。本研究では,層間学習法を提案し,その性能を従来の訓練法と比較する。層間トレーニングアプローチでは,初期層の一部を学生ネットワークとして,後期層を教師ネットワークとして扱う。各トレーニングステップにおいて,教師ネットワークの出力から学習する学生ネットワークを段階的にトレーニングし,その逆を学習する。我々は,VGG16,ResNext,DenseNetネットワーク上で,事前学習した画像ネット重みと通常のCNNモデルを用いないアプローチを評価する。実験の結果, 層間学習法は両モデルの従来の訓練法よりも優れていた。具体的には,VGG16,ResNext,DeseNetネットワークのテストセットと,従来のトレーニング手法と比較して層間トレーニングを用いたCNNモデルにおいて高い精度を実現する。本研究は、CNNにおけるレイヤーワイドトレーニングの重要性を強調し、CNNの精度を向上させるための層間トレーニングが有望なアプローチであることを示す。

関連論文リスト

Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
本稿では,ディープフィードフォワードニューラルネットワーク(DNN)のパラメータ空間におけるトレーニング可能な状態予測手法を提案する。トレーニングの1つのエポックは、データセットの幅でディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
論文参考訳（メタデータ） (2024-06-13T18:00:05Z)
A Gradient Boosting Approach for Training Convolutional and Deep Neural Networks [0.0]
グラディエントブースティング(GB)に基づく畳み込みニューラルネットワーク(CNN)とディープニューラルネットワークの訓練方法を紹介する。提案モデルでは,同一アーキテクチャの標準CNNとDeep-NNに対して,分類精度の点で優れた性能を示す。
論文参考訳（メタデータ） (2023-02-22T12:17:32Z)
Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文参考訳（メタデータ） (2022-01-11T20:53:15Z)
Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文参考訳（メタデータ） (2021-06-16T15:57:51Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
Accelerated MRI with Un-trained Neural Networks [29.346778609548995]
トレーニングなしニューラルネットワークを用いた高速化MRIにおける再構成問題に対処する。本稿では,Deep Decoderのバリエーションに基づいて,高度に最適化された未学習リカバリ手法を提案する。トレーニングされていないアルゴリズムはベースライントレーニングされたニューラルネットワークと同じような性能を達成するが、最先端トレーニングされたネットワークはトレーニングされていないニューラルネットワークよりも優れる。
論文参考訳（メタデータ） (2020-07-06T00:01:25Z)
Go Wide, Then Narrow: Efficient Training of Deep Thin Networks [62.26044348366186]
本稿では,深層ネットワークを理論的保証で訓練する効率的な手法を提案する。我々の方法でのトレーニングにより、ResNet50はResNet101を上回り、BERT BaseはBERT Largeに匹敵する。
論文参考訳（メタデータ） (2020-07-01T23:34:35Z)
A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
論文参考訳（メタデータ） (2020-04-15T17:52:48Z)
Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文参考訳（メタデータ） (2020-03-03T07:27:44Z)
Taylorized Training: Towards Better Approximation of Neural Network Training at Finite Width [116.69845849754186]
Taylorized Trainingは、ニューラルネットワークの$k$-orderTaylor拡張をトレーニングする。我々は、Taylorized Trainingが完全なニューラルネットワークトレーニングに同意していることを示します。本実験は, 広帯域ニューラルネットワークにおいて, 近似誤差$k$-階Taylorized Modelが指数関数的に$k$以上減衰することを示す理論的結果と相補する。
論文参考訳（メタデータ） (2020-02-10T18:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。