Fugu-MT 論文翻訳(概要): A memory-efficient neural ODE framework based on high-level adjoint differentiation

論文の概要: A memory-efficient neural ODE framework based on high-level adjoint differentiation

arxiv url: http://arxiv.org/abs/2206.01298v3
Date: Fri, 9 Jun 2023 15:43:27 GMT
ステータス: 処理完了
システム内更新日: 2023-06-12 18:34:59.374985
Title: A memory-efficient neural ODE framework based on high-level adjoint differentiation
Title（参考訳）: 高レベル随伴微分に基づくメモリ効率ニューラルODEフレームワーク
Authors: Hong Zhang, Wenjun Zhao
Abstract要約: 我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。 PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
参考スコア（独自算出の注目度）: 4.063868707697316
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural ordinary differential equations (neural ODEs) have emerged as a novel network architecture that bridges dynamical systems and deep learning. However, the gradient obtained with the continuous adjoint method in the vanilla neural ODE is not reverse-accurate. Other approaches suffer either from an excessive memory requirement due to deep computational graphs or from limited choices for the time integration scheme, hampering their application to large-scale complex dynamical systems. To achieve accurate gradients without compromising memory efficiency and flexibility, we present a new neural ODE framework, PNODE, based on high-level discrete adjoint algorithmic differentiation. By leveraging discrete adjoint time integrators and advanced checkpointing strategies tailored for these integrators, PNODE can provide a balance between memory and computational costs, while computing the gradients consistently and accurately. We provide an open-source implementation based on PyTorch and PETSc, one of the most commonly used portable, scalable scientific computing libraries. We demonstrate the performance through extensive numerical experiments on image classification and continuous normalizing flow problems. We show that PNODE achieves the highest memory efficiency when compared with other reverse-accurate methods. On the image classification problems, PNODE is up to two times faster than the vanilla neural ODE and up to 2.3 times faster than the best existing reverse-accurate method. We also show that PNODE enables the use of the implicit time integration methods that are needed for stiff dynamical systems.
Abstract（参考訳）: ニューラル常微分方程式(ニューラルODE)は動的システムとディープラーニングを橋渡しする新しいネットワークアーキテクチャとして登場した。しかし、バニラ神経回路における連続随伴法で得られる勾配は逆精度ではない。他のアプローチでは、深層計算グラフによる過剰なメモリ要求や時間積分方式の選択に悩まされ、大規模な複雑な力学系への応用を妨げている。メモリ効率と柔軟性を損なうことなく正確な勾配を実現するために,高レベル離散随伴アルゴリズムの微分に基づくニューラルODEフレームワークPNODEを提案する。離散随伴時間積分器とこれらの積分器に適した高度なチェックポイント戦略を利用することで、PNODEは勾配を一貫して正確に計算しながら、メモリと計算コストのバランスをとることができる。当社はpytorchとpetscをベースにしたオープンソース実装を提供しており、最も一般的に使用されているポータブルでスケーラブルな科学計算ライブラリの1つです。画像分類と連続正規化フロー問題に関する広範囲な数値実験により,その性能を実証する。 PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。画像分類問題では、PNODEはバニラニューラルODEの最大2倍、既存の逆精度法よりも最大2.3倍高速である。また,pnodeでは,強固な動的システムに必要な暗黙的時間積分法が利用できることを示した。

関連論文リスト

On Tuning Neural ODE for Stability, Consistency and Faster Convergence [0.0]
本研究では,Nesterov'sAccelerated gradient (NAG) を用いたODE-solverを提案する。我々は、より速くトレーニングし、より優れた、または同等のパフォーマンスをニューラルダイオードに対して達成し、アプローチの有効性を実証的に実証した。
論文参考訳（メタデータ） (2023-12-04T06:18:10Z)
On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
論文参考訳（メタデータ） (2022-08-07T09:02:18Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Learning ODEs via Diffeomorphisms for Fast and Robust Integration [40.52862415144424]
微分可能な解法はニューラルネットワークの学習の中心である。本稿では,データからODEを学習するための代替手法を提案する。学習したODEと勾配を統合する場合、最大2桁の改善を観測する。
論文参考訳（メタデータ） (2021-07-04T14:32:16Z)
Calibrating multi-dimensional complex ODE from noisy data via deep neural networks [7.77129750333676]
通常の微分方程式(ODE)は、生物学、化学、工学、金融、物理学などにおいて生じる複雑な力学をモデル化するために広く用いられている。この問題に対処するための2段階の非パラメトリック手法を提案する。まず、境界カーネル法を用いて、除音データとその高次導関数を抽出し、ReLUアクティベーション関数で疎結合なディープニューラルネットワークに供給する。
論文参考訳（メタデータ） (2021-06-07T13:17:16Z)
Accelerating Neural ODEs Using Model Order Reduction [0.0]
本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
論文参考訳（メタデータ） (2021-05-28T19:27:09Z)
Symplectic Adjoint Method for Exact Gradient of Neural ODE with Minimal Memory [7.1975923901054575]
バックプロパゲーションアルゴリズムは、ネットワークサイズの使用回数に比例するメモリフットプリントを必要とする。さもなくば、随伴法は最小限のメモリフットプリントで後向きの数値積分による勾配を得る。本研究では,使用回数とネットワークサイズに比例する足跡の正確な勾配を求めるシンプレクティック随伴法を提案する。
論文参考訳（メタデータ） (2021-02-19T05:47:14Z)
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文参考訳（メタデータ） (2021-02-16T11:45:35Z)
DiffPD: Differentiable Projective Dynamics with Contact [65.88720481593118]
DiffPDは、暗黙の時間積分を持つ効率的な微分可能なソフトボディシミュレータである。我々はDiffPDの性能を評価し,様々な応用における標準ニュートン法と比較して4～19倍のスピードアップを観測した。
論文参考訳（メタデータ） (2021-01-15T00:13:33Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)
Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。