Fugu-MT 論文翻訳(概要): MALI: A memory efficient and reverse accurate integrator for Neural ODEs

論文の概要: MALI: A memory efficient and reverse accurate integrator for Neural ODEs

arxiv url: http://arxiv.org/abs/2102.04668v1
Date: Tue, 9 Feb 2021 06:33:47 GMT
ステータス: 処理完了
システム内更新日: 2021-02-10 14:59:36.244293
Title: MALI: A memory efficient and reverse accurate integrator for Neural ODEs
Title（参考訳）: MALI:Neural ODEのためのメモリ効率と逆精度のインテグレータ
Authors: Juntang Zhuang, Nicha C. Dvornek, Sekhar Tatikonda, James S. Duncan
Abstract要約: ニューラル常微分方程式に対するメモリ効率ALF積分器(MALI) MALIはまず、ImageNet上でNeural ODEの実行可能なトレーニングを可能にし、よく調整されたResNetを上回るパフォーマンスを実現する。時系列モデリングでは、MALIは随伴法よりも大幅に優れている。連続生成モデルでは、MALIは新たな最先端の性能を達成する。
参考スコア（独自算出の注目度）: 11.786863362728868
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural ordinary differential equations (Neural ODEs) are a new family of deep-learning models with continuous depth. However, the numerical estimation of the gradient in the continuous case is not well solved: existing implementations of the adjoint method suffer from inaccuracy in reverse-time trajectory, while the naive method and the adaptive checkpoint adjoint method (ACA) have a memory cost that grows with integration time. In this project, based on the asynchronous leapfrog (ALF) solver, we propose the Memory-efficient ALF Integrator (MALI), which has a constant memory cost \textit{w.r.t} number of solver steps in integration similar to the adjoint method, and guarantees accuracy in reverse-time trajectory (hence accuracy in gradient estimation). We validate MALI in various tasks: on image recognition tasks, to our knowledge, MALI is the first to enable feasible training of a Neural ODE on ImageNet and outperform a well-tuned ResNet, while existing methods fail due to either heavy memory burden or inaccuracy; for time series modeling, MALI significantly outperforms the adjoint method; and for continuous generative models, MALI achieves new state-of-the-art performance.
Abstract（参考訳）: ニューラル常微分方程式 (Neural normal differential equations, Neural ODEs) は、連続深度を持つ深層学習モデルの新しいファミリである。しかし、連続ケースにおける勾配の数値的な推定は十分には解決されていない: 逆時間軌道における既存の結合法の実装は不正確であり、ナイーブ法と適応的チェックポイント結合法(ACA)は、統合時間とともに成長するメモリコストを有する。本プロジェクトでは、非同期跳躍法(ALF)ソルバーに基づき、隣接する方法に類似した統合における定常メモリコスト \textit{w.r.t} のソルバーステップ数を持ち、逆時間軌道の精度を保証するメモリ効率の高いALF積分器(MALI)を提案する。画像認識タスクにおいて、私たちの知る限り、MALIは、ImageNet上でニューラルODEの実行可能なトレーニングを実現し、十分に調整されたResNetより優れている一方、既存の手法は、重いメモリ負荷または不正確さのために失敗する。

関連論文リスト

A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文参考訳（メタデータ） (2024-10-14T12:10:06Z)
Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文参考訳（メタデータ） (2024-01-17T09:01:29Z)
Meta-learning to Calibrate Gaussian Processes with Deep Kernels for Regression Uncertainty Estimation [43.23399636191726]
本稿では,遅延不確実性推定性能を改善するために,深層カーネルGPの校正のためのメタラーニング手法を提案する。提案手法は,テスト期待校正誤差を最小限に抑えて,様々なタスクのデータを用いて不確実性を校正する方法をメタ学習する。実験により,提案手法は高い回帰性能を維持しながら不確実性推定性能を向上させることを示した。
論文参考訳（メタデータ） (2023-12-13T07:58:47Z)
On Tuning Neural ODE for Stability, Consistency and Faster Convergence [0.0]
本研究では,Nesterov'sAccelerated gradient (NAG) を用いたODE-solverを提案する。我々は、より速くトレーニングし、より優れた、または同等のパフォーマンスをニューラルダイオードに対して達成し、アプローチの有効性を実証的に実証した。
論文参考訳（メタデータ） (2023-12-04T06:18:10Z)
Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文参考訳（メタデータ） (2023-07-27T17:42:06Z)
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文参考訳（メタデータ） (2023-05-30T10:07:17Z)
Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A Memory-Efficient Inverse Problem Solver [26.87738024952936]
逆問題では、潜在的に破損し、しばしば不適切な測定結果から、いくつかの基本的な関心のシグナルを再構築することを目的としている。浅い平衡正規化器(L)を用いたLUアルゴリズムを提案する。これらの暗黙のモデルは、より深い畳み込みネットワークと同じくらい表現力があるが、トレーニング中にはるかにメモリ効率が良い。
論文参考訳（メタデータ） (2022-10-10T19:50:37Z)
A memory-efficient neural ODE framework based on high-level adjoint differentiation [4.063868707697316]
我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。 PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
論文参考訳（メタデータ） (2022-06-02T20:46:26Z)
Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文参考訳（メタデータ） (2022-03-02T22:35:58Z)
Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。