Fugu-MT 論文翻訳(概要): Accelerating Neural ODEs Using Model Order Reduction

論文の概要: Accelerating Neural ODEs Using Model Order Reduction

arxiv url: http://arxiv.org/abs/2105.14070v1
Date: Fri, 28 May 2021 19:27:09 GMT
ステータス: 処理完了
システム内更新日: 2021-06-01 16:55:09.615226
Title: Accelerating Neural ODEs Using Model Order Reduction
Title（参考訳）: モデルオーダー削減によるニューラルodeの高速化
Authors: Mikko Lehtim\"aki, Lassi Paunonen, Marja-Leena Linne
Abstract要約: 本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Embedding nonlinear dynamical systems into artificial neural networks is a powerful new formalism for machine learning. By parameterizing ordinary differential equations (ODEs) as neural network layers, these Neural ODEs are memory-efficient to train, process time-series naturally and incorporate knowledge of physical systems into deep learning models. However, the practical applications of Neural ODEs are limited due to long inference times, because the outputs of the embedded ODE layers are computed numerically with differential equation solvers that can be computationally demanding. Here we show that mathematical model order reduction methods can be used for compressing and accelerating Neural ODEs by accurately simulating the continuous nonlinear dynamics in low-dimensional subspaces. We implement our novel compression method by developing Neural ODEs that integrate the necessary subspace-projection and interpolation operations as layers of the neural network. We validate our model reduction approach by comparing it to two established acceleration methods from the literature in two classification asks. In compressing convolutional and recurrent Neural ODE architectures, we achieve the best balance between speed and accuracy when compared to the other two acceleration methods. Based on our results, our integration of model order reduction with Neural ODEs can facilitate efficient, dynamical system-driven deep learning in resource-constrained applications.
Abstract（参考訳）: 非線形力学系を人工ニューラルネットワークに埋め込むことは、機械学習の強力な新しい形式である。通常の微分方程式(ODE)をニューラルネットワーク層としてパラメータ化することにより、これらのニューラルODEはトレーニングにメモリ効率が高く、時系列を自然に処理し、物理系の知識をディープラーニングモデルに組み込む。しかし、組み込みode層の出力は計算上必要となる微分方程式解法で数値計算されるため、ニューラルネットワークodeの実用的応用は長い推論時間によって制限される。本稿では,低次元部分空間における連続非線形ダイナミクスを正確にシミュレートすることにより,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。我々は,必要な部分空間投影と補間操作をニューラルネットワークの層として統合したニューラルodeを開発した。文献から得られた2つの定式化手法との比較により, モデル縮小手法の有効性を検証した。畳み込みおよび繰り返しのニューラルODEアーキテクチャを圧縮する場合、他の2つの加速度法と比較して、速度と精度のバランスが良い。この結果に基づき,モデルオーダーの削減とニューラルodeの統合により,リソース制約付きアプリケーションにおける効率的な動的システム駆動型深層学習が容易になる。

関連論文リスト

Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations [0.0]
変分オートエンコーダ(VAE)はコンパクトな潜在表現を学習するための強力なフレームワークである。ニューラルネットワークは過渡系力学の学習において優れている。この研究は両者の強みを組み合わせることで、高速な代理モデルと調整可能な複雑さを生み出す。
論文参考訳（メタデータ） (2024-10-14T05:45:52Z)
Bridging Autoencoders and Dynamic Mode Decomposition for Reduced-order Modeling and Control of PDEs [12.204795159651589]
本稿では,Ptemporals が支配する動的システムの低次モデリングと制御のための深層自己コーディング学習手法について検討する。まず,線形オートエン縮退モデルの学習目標を定式化し,制御アルゴリズムを用いて動的モード分解により得られる結果によく似た解が得られることを示す。次に、この線形自動符号化アーキテクチャをディープ・オートコーディング・フレームワークに拡張し、非線形低次モデルの開発を可能にする。
論文参考訳（メタデータ） (2024-09-09T22:56:40Z)
Neural Fractional Differential Equations [2.812395851874055]
FDE(Fractional Differential Equations)は、科学や工学において複雑なシステムをモデル化するための重要なツールである。我々は、FDEをデータのダイナミックスに調整する新しいディープニューラルネットワークアーキテクチャであるNeural FDEを提案する。
論文参考訳（メタデータ） (2024-03-05T07:45:29Z)
Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文参考訳（メタデータ） (2024-02-20T15:23:24Z)
Correcting auto-differentiation in neural-ODE training [19.472357078065194]
ニューラルネットワークが基礎となるODEフローを近似するために高次形式を用いる場合、自動微分を用いたブルートフォース計算は、しばしば非収束人工振動を生成する。本稿では、これらの振動を効果的に排除し、計算を修正し、基礎となる流れの更新を尊重する簡単な後処理手法を提案する。
論文参考訳（メタデータ） (2023-06-03T20:34:14Z)
Neural Delay Differential Equations: System Reconstruction and Image Classification [14.59919398960571]
我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。 NODE と比較して、NDDE はより強い非線形表現能力を持つ。我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
論文参考訳（メタデータ） (2023-04-11T16:09:28Z)
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文参考訳（メタデータ） (2023-02-20T19:36:52Z)
Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文参考訳（メタデータ） (2022-06-10T02:14:59Z)
Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
論文参考訳（メタデータ） (2022-04-13T08:53:41Z)
Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文参考訳（メタデータ） (2020-05-05T01:41:46Z)
Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。