Fugu-MT 論文翻訳(概要): On Dissipativity of Cross-Entropy Loss in Training ResNets

論文の概要: On Dissipativity of Cross-Entropy Loss in Training ResNets

arxiv url: http://arxiv.org/abs/2405.19013v1
Date: Wed, 29 May 2024 11:52:53 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 17:30:13.916416
Title: On Dissipativity of Cross-Entropy Loss in Training ResNets
Title（参考訳）: トレーニングResNetにおけるクロスエントロピー損失の分散性について
Authors: Jens Püttschneider, Timm Faulwasser,
Abstract要約: トレーニングされたResNetがターンパイク現象を示すことを示す。これは与えられた分類タスクに適した非常に浅いネットワークを見つけるのに使うことができる。
参考スコア（独自算出の注目度）: 0.7366405857677227
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The training of ResNets and neural ODEs can be formulated and analyzed from the perspective of optimal control. This paper proposes a dissipative formulation of the training of ResNets and neural ODEs for classification problems by including a variant of the cross-entropy as a regularization in the stage cost. Based on the dissipative formulation of the training, we prove that the trained ResNet exhibit the turnpike phenomenon. We then illustrate that the training exhibits the turnpike phenomenon by training on the two spirals and MNIST datasets. This can be used to find very shallow networks suitable for a given classification task.
Abstract（参考訳）: ResNetsとNeural ODEsのトレーニングは最適な制御の観点から定式化し分析することができる。本稿では,段階的コストの正規化としてクロスエントロピーの変種を含めることで,ResNetとニューラルODEの分類問題に対するトレーニングの散逸的定式化を提案する。トレーニングの散逸的定式化に基づいて、トレーニングされたResNetがターンパイク現象を示すことを示す。次に、2つのスパイラルとMNISTデータセットのトレーニングにより、このトレーニングがターンパイク現象を示すことを示す。これは与えられた分類タスクに適した非常に浅いネットワークを見つけるのに使うことができる。

関連論文リスト

Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
本稿では,ディープフィードフォワードニューラルネットワークのパラメータ空間におけるトレーニング可能な状態を予測する手法を提案する。 MNISTとCIFAR10の両方のデータセットに対して、トレーニングの1つのエポックが、ディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
論文参考訳（メタデータ） (2024-06-13T18:00:05Z)
Harnessing Orthogonality to Train Low-Rank Neural Networks [0.07538606213726905]
本研究は,ニューラルネットワークの学習力学を,トレーニングを通じて重みの特異値分解(SVD)を分析することによって研究する。本稿では,ニューラルネットワークの直交性を利用した新しいトレーニング手法であるOrthogonality-Informed Adaptive Low-Rank(OIALR)トレーニングを紹介する。
論文参考訳（メタデータ） (2024-01-16T17:07:22Z)
One Forward is Enough for Neural Network Training via Likelihood Ratio Method [47.013384887197454]
バックプロパゲーション(BP)は、ニューラルネットワークトレーニングにおける勾配計算の主流のアプローチである。本手法は,1つの前方伝播による推定のための統一可能性比 (ULR) 法を提案する。
論文参考訳（メタデータ） (2023-05-15T19:02:46Z)
Stimulative Training++: Go Beyond The Performance Limits of Residual Networks [91.5381301894899]
残余のネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは欠かせないものになっている。従来の研究では、残余ネットワークは浅いネットワークのアンサンブルと見なせることが示唆されている。残余ネットワーク内のワークは、単独で作業するよりもグループとして働く場合の労力を減らしがちである。
論文参考訳（メタデータ） (2023-05-04T02:38:11Z)
SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
論文参考訳（メタデータ） (2023-02-01T04:22:59Z)
Adversarial training with informed data selection [53.19381941131439]
アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
論文参考訳（メタデータ） (2023-01-07T12:09:50Z)
Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文参考訳（メタデータ） (2021-11-02T20:24:01Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Interpolation between Residual and Non-Residual Networks [24.690238357686134]
ダンピング項を追加することで,新しいODEモデルを提案する。提案モデルでは係数を調整してResNetとCNNの両方を復元可能であることを示す。複数の画像分類ベンチマーク実験により,提案手法はResNetとResNeXtの精度を大幅に向上することが示された。
論文参考訳（メタデータ） (2020-06-10T09:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。