論文の概要: Improving Neural ODEs via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2203.05103v1
• Date: Thu, 10 Mar 2022 01:23:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-12 02:48:47.801784
• Title: Improving Neural ODEs via Knowledge Distillation
• Title（参考訳）: 知識蒸留によるニューラルODEの改善
• Authors: Haoyu Chu, Shikui Wei, Qiming Lu, Yao Zhao
• Abstract要約: 画像認識タスクに適合するより強力で堅牢なニューラルODEを構築するための知識蒸留に基づく新しいトレーニングを提案する。 実験の結果,CIFAR10では24%,SVHNでは5%の精度でニューラルODEの分類精度を向上できることがわかった。
• 参考スコア（独自算出の注目度）: 35.92851907503015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Ordinary Differential Equations (Neural ODEs) construct the continuous dynamics of hidden units using ordinary differential equations specified by a neural network, demonstrating promising results on many tasks. However, Neural ODEs still do not perform well on image recognition tasks. The possible reason is that the one-hot encoding vector commonly used in Neural ODEs can not provide enough supervised information. We propose a new training based on knowledge distillation to construct more powerful and robust Neural ODEs fitting image recognition tasks. Specially, we model the training of Neural ODEs into a teacher-student learning process, in which we propose ResNets as the teacher model to provide richer supervised information. The experimental results show that the new training manner can improve the classification accuracy of Neural ODEs by 24% on CIFAR10 and 5% on SVHN. In addition, we also quantitatively discuss the effect of both knowledge distillation and time horizon in Neural ODEs on robustness against adversarial examples. The experimental analysis concludes that introducing the knowledge distillation and increasing the time horizon can improve the robustness of Neural ODEs against adversarial examples.
• Abstract（参考訳）: ニューラル正規微分方程式 (Neural Ordinary Differential Equations) は、ニューラルネットワークによって指定された通常の微分方程式を用いて隠れた単位の連続的なダイナミクスを構築し、多くのタスクにおいて有望な結果を示す。 しかし、Neural ODEは画像認識タスクではまだうまく機能しない。 その理由は、Neural ODEでよく使われるワンホット符号化ベクトルが十分な教師付き情報を提供できないからである。 画像認識タスクに適合するより強力で堅牢なニューラルODEを構築するための知識蒸留に基づく新しいトレーニングを提案する。 特に,教師が教師に指導する学習プロセスにニューラルオデムの訓練をモデル化し,教師モデルとしてのresnetsを提案する。 実験の結果,CIFAR10では24%,SVHNでは5%の精度でニューラルODEの分類精度を向上できることがわかった。 また,ニューラルネットワークにおける知識蒸留と時間水平化の両面が,敵対例に対する堅牢性に及ぼす影響を定量的に検討した。 実験分析の結果、知識蒸留の導入と時間軸の増加は、敵の例に対する神経オデムのロバスト性を改善すると結論づけられた。

関連論文リスト

• Adaptive Feedforward Gradient Estimation in Neural ODEs [0.0]
  本稿では,適応フィードフォワード勾配推定を利用してニューラルネットワークの効率,一貫性,解釈性を向上させる手法を提案する。 提案手法では,バックプロパゲーションとアジョイントを不要にし,計算オーバーヘッドとメモリ使用量を削減し,精度を向上する。
  論文  参考訳（メタデータ） (2024-09-22T18:21:01Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Standalone Neural ODEs with Sensitivity Analysis [5.565364597145569]
  本稿では,完全深部ニューラルネットワークを記述可能な連続深部ニューラルネットワークモデルを提案する。 神経感受性問題の一般的な定式化を行い,NCGトレーニングでどのように使用されるかを示す。 我々の新しい定式化がResNetモデルと比較してロバスト性や性能の向上につながることを示す。
  論文  参考訳（メタデータ） (2022-05-27T12:16:53Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Self-Denoising Neural Networks for Few Shot Learning [66.38505903102373]
  既存のニューラルアーキテクチャの複数の段階でノイズを追加すると同時に、この付加ノイズに対して堅牢であるように学習する新しいトレーニングスキームを提案する。 このアーキテクチャは、SDNN(Self-Denoising Neural Network)と呼ばれ、現代の畳み込みニューラルネットワークに容易に適用できます。
  論文  参考訳（メタデータ） (2021-10-26T03:28:36Z)
• Heavy Ball Neural Ordinary Differential Equations [12.861233366398162]
  重球型ニューラル常微分方程式(HBNODE)を提案し,ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・オーラル・ディファレンス(NODE)のトレーニングと推論を改善する。 HBNODE には、NODE に対して実用的な利点を示す2つの特性がある。 我々は、画像分類、複雑な力学の学習、逐次モデリングなど、ベンチマークタスクにおけるHBNODEの利点を検証する。
  論文  参考訳（メタデータ） (2021-10-10T16:11:11Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Neural Ordinary Differential Equation based Recurrent Neural Network Model [0.7233897166339269]
  微分方程式は ニューラルネットワークの 新たなメンバーだ 本稿では, 通常の微分方程式(ODE)の強度を新しい拡張法で探索する。 2つの新しいODEベースのRNNモデル(GRU-ODEモデルとLSTM-ODE)は、ODEソルバを用いて任意の時点で隠れた状態とセル状態を計算することができる。 実験により、これらの新しいODEベースのRNNモデルは、遅延ODEや従来のニューラルODEよりもトレーニング時間が少ないことが示された。
  論文  参考訳（メタデータ） (2020-05-20T01:02:29Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)
• Transfer Learning using Neural Ordinary Differential Equations [0.32228025627337864]
  我々は、CIFAR-10データセット上での転送学習の探索にEfficientNetsを使用します。 微調整にNODEを使用することで、トレーニングやバリデーションの安定性が向上する。
  論文  参考訳（メタデータ） (2020-01-21T04:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。