Fugu-MT 論文翻訳(概要): Transfer Learning using Neural Ordinary Differential Equations

論文の概要: Transfer Learning using Neural Ordinary Differential Equations

arxiv url: http://arxiv.org/abs/2001.07342v1
Date: Tue, 21 Jan 2020 04:59:08 GMT
ステータス: 処理完了
システム内更新日: 2023-01-07 23:34:23.570722
Title: Transfer Learning using Neural Ordinary Differential Equations
Title（参考訳）: 神経常微分方程式を用いた伝達学習
Authors: Rajath S, Sumukh Aithal K, Natarajan Subramanyam
Abstract要約: 我々は、CIFAR-10データセット上での転送学習の探索にEfficientNetsを使用します。微調整にNODEを使用することで、トレーニングやバリデーションの安定性が向上する。
参考スコア（独自算出の注目度）: 0.32228025627337864
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A concept of using Neural Ordinary Differential Equations(NODE) for Transfer Learning has been introduced. In this paper we use the EfficientNets to explore transfer learning on CIFAR-10 dataset. We use NODE for fine-tuning our model. Using NODE for fine tuning provides more stability during training and validation.These continuous depth blocks can also have a trade off between numerical precision and speed .Using Neural ODEs for transfer learning has resulted in much stable convergence of the loss function.
Abstract（参考訳）: 伝達学習にニューラル正規微分方程式(NODE)を用いるという概念が導入された。本稿では,cifar-10データセット上での転送学習を効率良く行う。私たちはモデルを微調整するためにNODEを使用します。これらの連続深度ブロックは、数値的精度と速度のトレードオフも得る。伝達学習にニューラルODEを用いると、損失関数がかなり安定に収束する。

関連論文リスト

Component Fourier Neural Operator for Singularly Perturbed Differential Equations [3.9482103923304877]
Singularly Perturbed Differential Equations (SPDE) の解法は、薄い領域における解の急激な遷移に起因する計算上の問題を引き起こす。本稿では、フーリエニューラル演算子(FNO)に基づく革新的な演算子学習法であるComFNOを紹介する。私たちのアプローチはFNOに限らず、Deep Operator Network(DeepONet)など他のニューラルネットワークフレームワークにも適用可能です。
論文参考訳（メタデータ） (2024-09-07T09:40:51Z)
Neural Differential Equations for Learning to Program Neural Nets Through Continuous Learning Rules [10.924226420146626]
連続時間シーケンス処理網を構築するために,学習ルールとニューラルODEを組み合わせた新しい手法を提案する。これにより、Fast Weight Programmers と linear Transformer の連続時間版が生成される。
論文参考訳（メタデータ） (2022-06-03T15:48:53Z)
Virtual Analog Modeling of Distortion Circuits Using Neural Ordinary Differential Equations [1.8352113484137629]
ディープラーニングに関する最近の研究は、ニューラルネットワークが動的システムを管理する微分方程式を学習できることを示した。本稿では,この概念を仮想アナログ(VA)モデルに適用し,1次ダイオードクリッパーと2次ダイオードクリッパーの常微分方程式(ODE)を学習する。提案したモデルは、パラメータが少ないにもかかわらず、最先端のリカレントニューラルネットワーク(RNN)に匹敵する性能を達成する。
論文参考訳（メタデータ） (2022-05-04T05:19:46Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Improving Neural ODEs via Knowledge Distillation [35.92851907503015]
画像認識タスクに適合するより強力で堅牢なニューラルODEを構築するための知識蒸留に基づく新しいトレーニングを提案する。実験の結果,CIFAR10では24%,SVHNでは5%の精度でニューラルODEの分類精度を向上できることがわかった。
論文参考訳（メタデータ） (2022-03-10T01:23:41Z)
Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
論文参考訳（メタデータ） (2021-06-08T08:04:47Z)
Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
論文参考訳（メタデータ） (2021-03-03T12:34:59Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文参考訳（メタデータ） (2020-05-05T01:41:46Z)
Fractional Deep Neural Network via Constrained Optimization [0.0]
本稿では,ディープニューラルネットワーク(DNN)のための新しいアルゴリズムフレームワークを提案する。 Fractional-DNNは、時間非線形常微分方程式(ODE)における分数の時間差分化と見なすことができる。
論文参考訳（メタデータ） (2020-04-01T21:58:21Z)
Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。