論文の概要: Towards Understanding Normalization in Neural ODEs
- arxiv url: http://arxiv.org/abs/2004.09222v2
- Date: Mon, 27 Apr 2020 19:43:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-11 17:43:15.762925
- Title: Towards Understanding Normalization in Neural ODEs
- Title(参考訳): 神経odeにおける正規化の理解に向けて
- Authors: Julia Gusak, Larisa Markeeva, Talgat Daulbaev, Alexandr Katrutsa,
Andrzej Cichocki, Ivan Oseledets
- Abstract要約: CIFAR-10 分類タスクにおいて 93% の精度を達成可能であることを示す。
これは、この問題でテストされたニューラルなODEの中で、最も高い精度で報告されている。
- 参考スコア(独自算出の注目度): 71.26657499537366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Normalization is an important and vastly investigated technique in deep
learning. However, its role for Ordinary Differential Equation based networks
(neural ODEs) is still poorly understood. This paper investigates how different
normalization techniques affect the performance of neural ODEs. Particularly,
we show that it is possible to achieve 93% accuracy in the CIFAR-10
classification task, and to the best of our knowledge, this is the highest
reported accuracy among neural ODEs tested on this problem.
- Abstract(参考訳): 正規化は深層学習において重要かつ大きく研究された手法である。
しかし、通常の微分方程式に基づくネットワーク(ニューラルODE)に対するその役割はいまだに理解されていない。
本稿では,様々な正規化手法がニューラルodeの性能に与える影響について検討する。
特に,cifar-10分類タスクでは93%の精度が達成可能であり,我々の知る限りでは,この問題でテストされた神経odeにおいて,最も高い精度が報告されている。
関連論文リスト
- A minimax optimal control approach for robust neural ODEs [49.1574468325115]
我々は、頑健な制御の観点から、ニューラルなODEの敵対的訓練に対処する。
我々はポントリャーギンの最大原理の形で一階最適条件を導出する。
論文 参考訳(メタデータ) (2023-10-26T17:07:43Z) - Uncertainty and Structure in Neural Ordinary Differential Equations [28.12033356095061]
ラプラス近似のような基礎的で軽量なベイズ深層学習技術がニューラルネットワークに適用可能であることを示す。
我々は、最近提案された2つのニューラルODEフレームワークにおいて、機械的知識と不確実性量子化がどのように相互作用するかを考察する。
論文 参考訳(メタデータ) (2023-05-22T17:50:42Z) - Improving Neural ODEs via Knowledge Distillation [35.92851907503015]
画像認識タスクに適合するより強力で堅牢なニューラルODEを構築するための知識蒸留に基づく新しいトレーニングを提案する。
実験の結果,CIFAR10では24%,SVHNでは5%の精度でニューラルODEの分類精度を向上できることがわかった。
論文 参考訳(メタデータ) (2022-03-10T01:23:41Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳(メタデータ) (2021-03-15T17:26:34Z) - Correct Normalization Matters: Understanding the Effect of Normalization
On Deep Neural Network Models For Click-Through Rate Prediction [3.201333208812837]
本研究では,LayerNormをベースとした新しい効果的な正規化手法を提案する。
正規化の分散が主な役割を担い、本研究に説明を与える。
論文 参考訳(メタデータ) (2020-06-23T04:35:22Z) - Optimization Theory for ReLU Neural Networks Trained with Normalization
Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。
我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文 参考訳(メタデータ) (2020-06-11T23:55:54Z) - ODEN: A Framework to Solve Ordinary Differential Equations using
Artificial Neural Networks [0.0]
我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。
ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。
ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
論文 参考訳(メタデータ) (2020-05-28T15:34:10Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳(メタデータ) (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。