論文の概要: Discretize-Optimize vs. Optimize-Discretize for Time-Series Regression
and Continuous Normalizing Flows
- arxiv url: http://arxiv.org/abs/2005.13420v2
- Date: Fri, 31 Jul 2020 00:28:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 08:21:21.942100
- Title: Discretize-Optimize vs. Optimize-Discretize for Time-Series Regression
and Continuous Normalizing Flows
- Title（参考訳）: 時間列回帰と連続正規化流れに対する離散化最適化と最適分散
- Authors: Derek Onken and Lars Ruthotto
- Abstract要約: ニューラルネットワークを用いた時系列回帰と連続正規化フロー(CNF)に対する離散化最適化(Disc-Opt)と最適化分散(Opt-Disc)アプローチの比較を行った。
Disc-Optは、トレーニング時間を39%から97%に減らし、Disdis-Optはトレーニングを9日から1日未満に減らした。
- 参考スコア（独自算出の注目度）: 5.71097144710995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We compare the discretize-optimize (Disc-Opt) and optimize-discretize
(Opt-Disc) approaches for time-series regression and continuous normalizing
flows (CNFs) using neural ODEs. Neural ODEs are ordinary differential equations
(ODEs) with neural network components. Training a neural ODE is an optimal
control problem where the weights are the controls and the hidden features are
the states. Every training iteration involves solving an ODE forward and
another backward in time, which can require large amounts of computation, time,
and memory. Comparing the Opt-Disc and Disc-Opt approaches in image
classification tasks, Gholami et al. (2019) suggest that Disc-Opt is preferable
due to the guaranteed accuracy of gradients. In this paper, we extend the
comparison to neural ODEs for time-series regression and CNFs. Unlike in
classification, meaningful models in these tasks must also satisfy additional
requirements beyond accurate final-time output, e.g., the invertibility of the
CNF. Through our numerical experiments, we demonstrate that with careful
numerical treatment, Disc-Opt methods can achieve similar performance as
Opt-Disc at inference with drastically reduced training costs. Disc-Opt reduced
costs in six out of seven separate problems with training time reduction
ranging from 39% to 97%, and in one case, Disc-Opt reduced training from nine
days to less than one day.
- Abstract（参考訳）: ニューラルネットワークを用いた時系列回帰と連続正規化フロー(CNF)に対する離散化最適化(Disc-Opt)と最適化分散(Opt-Disc)アプローチの比較を行った。
ニューラルODEは、ニューラルネットワーク成分を持つ通常の微分方程式(ODE)である。
神経odeのトレーニングは、重みが制御であり、隠れた特徴が状態である最適な制御問題である。
トレーニングの各イテレーションでは、odeの前方と後方のタイムを解決し、大量の計算、時間、メモリを必要とする。
画像分類タスクにおける Opt-Disc と Disc-Opt のアプローチを比較すると、Gholami et al. (2019) は勾配の精度が保証されているために Disc-Opt が好ましいことを示唆している。
本稿では,時系列回帰とCNFの比較を行う。
分類とは異なり、これらのタスクにおける有意義なモデルは、CNFの可逆性など、正確な最終的な出力を超える追加の要求を満たす必要がある。
数値実験により、注意深い数値処理を行うことで、Opt-Discと同等の性能をトレーニングコストを大幅に削減できることを示した。
Disc-Optはトレーニング時間を39%から97%に減らした7つの問題のうち6つでコストを削減した。
関連論文リスト
- Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。
絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
論文 参考訳（メタデータ） (2024-10-28T15:54:50Z) - On Tuning Neural ODE for Stability, Consistency and Faster Convergence [0.0]
本研究では,Nesterov'sAccelerated gradient (NAG) を用いたODE-solverを提案する。
我々は、より速くトレーニングし、より優れた、または同等のパフォーマンスをニューラルダイオードに対して達成し、アプローチの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2023-12-04T06:18:10Z) - Locally Regularized Neural Differential Equations: Some Black Boxes Were
Meant to Remain Closed! [3.222802562733787]
ニューラル微分方程式のような暗黙の層深層学習技術は重要なモデリングフレームワークとなっている。
パフォーマンスとトレーニング時間をトレードオフする2つのサンプリング戦略を開発します。
本手法は,関数評価を0.556-0.733xに削減し,予測を1.3-2xに高速化する。
論文 参考訳（メタデータ） (2023-03-03T23:31:15Z) - A memory-efficient neural ODE framework based on high-level adjoint
differentiation [4.063868707697316]
我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。
PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
論文 参考訳（メタデータ） (2022-06-02T20:46:26Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Differentiable Multiple Shooting Layers [18.37758865401204]
多重ショット層 (MSL) は並列化可能なルートフィンディングアルゴリズムを用いて初期値問題の解を求める。
我々は,MSLのアルゴリズム的枠組みを開発し,理論的および計算的観点から解法の選択の相違を解析する。
医療データの時系列分類のためのニューラル制御微分方程式(ニューラルCDE)におけるMSL推論の適用による高速化について検討した。
論文 参考訳（メタデータ） (2021-06-07T18:05:44Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳（メタデータ） (2020-08-28T04:29:54Z) - ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。
本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
論文 参考訳（メタデータ） (2020-07-30T11:24:05Z) - STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。
提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。
本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
論文 参考訳（メタデータ） (2020-06-18T17:44:50Z) - Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。
我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文 参考訳（メタデータ） (2020-05-05T01:41:46Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。