Fugu-MT 論文翻訳(概要): Towards Understanding Normalization in Neural ODEs

論文の概要: Towards Understanding Normalization in Neural ODEs

arxiv url: http://arxiv.org/abs/2004.09222v2
Date: Mon, 27 Apr 2020 19:43:36 GMT
ステータス: 処理完了
システム内更新日: 2022-12-11 17:43:15.762925
Title: Towards Understanding Normalization in Neural ODEs
Title（参考訳）: 神経odeにおける正規化の理解に向けて
Authors: Julia Gusak, Larisa Markeeva, Talgat Daulbaev, Alexandr Katrutsa, Andrzej Cichocki, Ivan Oseledets
Abstract要約: CIFAR-10 分類タスクにおいて 93% の精度を達成可能であることを示す。これは、この問題でテストされたニューラルなODEの中で、最も高い精度で報告されている。
参考スコア（独自算出の注目度）: 71.26657499537366
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Normalization is an important and vastly investigated technique in deep learning. However, its role for Ordinary Differential Equation based networks (neural ODEs) is still poorly understood. This paper investigates how different normalization techniques affect the performance of neural ODEs. Particularly, we show that it is possible to achieve 93% accuracy in the CIFAR-10 classification task, and to the best of our knowledge, this is the highest reported accuracy among neural ODEs tested on this problem.
Abstract（参考訳）: 正規化は深層学習において重要かつ大きく研究された手法である。しかし、通常の微分方程式に基づくネットワーク(ニューラルODE)に対するその役割はいまだに理解されていない。本稿では,様々な正規化手法がニューラルodeの性能に与える影響について検討する。特に,cifar-10分類タスクでは93%の精度が達成可能であり,我々の知る限りでは,この問題でテストされた神経odeにおいて,最も高い精度が報告されている。

関連論文リスト

Training Stiff Neural Ordinary Differential Equations with Implicit Single-Step Methods [3.941173292703699]
通常の微分方程式(ODE)の剛系は多くの科学や工学の分野で普及している。標準的なニューラルODEアプローチは、それらを学ぶのに苦労する。本稿では,1ステップの暗黙的スキームに基づくニューラルネットワークによる剛性処理手法を提案する。
論文参考訳（メタデータ） (2024-10-08T01:08:17Z)
Adaptive Feedforward Gradient Estimation in Neural ODEs [0.0]
本稿では,適応フィードフォワード勾配推定を利用してニューラルネットワークの効率,一貫性,解釈性を向上させる手法を提案する。提案手法では,バックプロパゲーションとアジョイントを不要にし,計算オーバーヘッドとメモリ使用量を削減し,精度を向上する。
論文参考訳（メタデータ） (2024-09-22T18:21:01Z)
ODE Discovery for Longitudinal Heterogeneous Treatment Effects Inference [69.24516189971929]
本稿では, 閉形式常微分方程式(ODE)という, 縦条件下での新しい解法を提案する。私たちはまだODEを学ぶために継続的な最適化に依存していますが、結果として生じる推論マシンはもはやニューラルネットワークではありません。
論文参考訳（メタデータ） (2024-03-16T02:07:45Z)
Improving Neural ODEs via Knowledge Distillation [35.92851907503015]
画像認識タスクに適合するより強力で堅牢なニューラルODEを構築するための知識蒸留に基づく新しいトレーニングを提案する。実験の結果,CIFAR10では24%,SVHNでは5%の精度でニューラルODEの分類精度を向上できることがわかった。
論文参考訳（メタデータ） (2022-03-10T01:23:41Z)
Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。学習過程において隠れた層内のニューロンの多様性を探索する。ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文参考訳（メタデータ） (2021-09-20T15:12:16Z)
Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文参考訳（メタデータ） (2021-03-15T17:26:34Z)
Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文参考訳（メタデータ） (2020-06-11T23:55:54Z)
ODEN: A Framework to Solve Ordinary Differential Equations using Artificial Neural Networks [0.0]
我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
論文参考訳（メタデータ） (2020-05-28T15:34:10Z)
Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。