Fugu-MT 論文翻訳(概要): Mixed Precision Training of Neural ODEs

論文の概要: Mixed Precision Training of Neural ODEs

arxiv url: http://arxiv.org/abs/2510.23498v1
Date: Mon, 27 Oct 2025 16:32:56 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-28 15:28:15.621023
Title: Mixed Precision Training of Neural ODEs
Title（参考訳）: ニューラルネットワークの混合精度訓練
Authors: Elena Celledoni, Brynjulf Owren, Lars Ruthotto, Tianjiao Nicole Yang,
Abstract要約: 本稿では,ニューラルネットワークのための混合精度学習フレームワークを提案する。明示的なODEソルバとカスタムバックプロパゲーションスキームを組み合わせる。約50%のメモリ削減と最大2倍のスピードアップを実現し、精度は単精度トレーニングに匹敵する。
参考スコア（独自算出の注目度）: 1.3382837742547355
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Exploiting low-precision computations has become a standard strategy in deep learning to address the growing computational costs imposed by ever larger models and datasets. However, naively performing all computations in low precision can lead to roundoff errors and instabilities. Therefore, mixed precision training schemes usually store the weights in high precision and use low-precision computations only for whitelisted operations. Despite their success, these principles are currently not reliable for training continuous-time architectures such as neural ordinary differential equations (Neural ODEs). This paper presents a mixed precision training framework for neural ODEs, combining explicit ODE solvers with a custom backpropagation scheme, and demonstrates its effectiveness across a range of learning tasks. Our scheme uses low-precision computations for evaluating the velocity, parameterized by the neural network, and for storing intermediate states, while stability is provided by a custom dynamic adjoint scaling and by accumulating the solution and gradients in higher precision. These contributions address two key challenges in training neural ODE: the computational cost of repeated network evaluations and the growth of memory requirements with the number of time steps or layers. Along with the paper, we publish our extendable, open-source PyTorch package rampde, whose syntax resembles that of leading packages to provide a drop-in replacement in existing codes. We demonstrate the reliability and effectiveness of our scheme using challenging test cases and on neural ODE applications in image classification and generative models, achieving approximately 50% memory reduction and up to 2x speedup while maintaining accuracy comparable to single-precision training.
Abstract（参考訳）: より大規模なモデルやデータセットによって課される計算コストの増加に対処するために、低精度の計算を爆発させることが、ディープラーニングの標準戦略となっている。しかし、全ての計算を低精度でネーティブに実行すると、ラウンドオフエラーや不安定性が生じる。したがって、混合精度訓練スキームは通常、重みを高精度に保存し、ホワイトリスト演算のみに低精度の計算を使用する。その成功にもかかわらず、これらの原則は現在、ニューラル常微分方程式(Neural ODE)のような継続的アーキテクチャのトレーニングには信頼性がない。本稿では,ニューラル・オデレーショナル・オデレーショナル・オデレーショナル・オデレーショナル・ソルバとカスタム・バックプロパゲーション・スキームを組み合わせた混合精度トレーニング・フレームワークを提案する。提案手法では, ニューラルネットワークによるパラメータ化, 中間状態の保存, 動的随伴スケーリングによる安定性, 解と勾配を高精度に蓄積することで, 速度評価に低精度計算を用いる。これらのコントリビューションは、繰り返しネットワーク評価の計算コストと、時間ステップやレイヤの数によるメモリ要求の増加という、ニューラルODEのトレーニングにおける2つの重要な課題に対処する。この論文とともに、我々は拡張可能なオープンソースのPyTorchパッケージ群を公開しています。画像分類と生成モデルにおいて, 課題のあるテストケースとニューラルODEを用いて, 約50%のメモリ削減と最大2倍の高速化を実現し, 精度を単一精度トレーニングに匹敵する精度を維持しながら, 提案手法の信頼性と有効性を実証した。

関連論文リスト

Full Integer Arithmetic Online Training for Spiking Neural Networks [0.006486143522483092]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とエネルギー効率のために、ニューロモルフィックコンピューティングを約束している。この研究は、混合精度アプローチを用いて整数のみのオンライントレーニングアルゴリズムを導入し、効率を改善し、メモリ使用量を60%以上削減する。
論文参考訳（メタデータ） (2025-09-08T12:54:30Z)
Self-Composing Neural Operators with Depth and Accuracy Scaling via Adaptive Train-and-Unroll Approach [12.718377513965912]
本稿では,自己合成によるニューラル演算子の効率性と精度を高める新しい枠組みを提案する。数値偏微分方程式 (PDE) を解くための反復的手法に着想を得て, 1つのニューラル演算子ブロックを繰り返し適用して, 特定のニューラル演算子を設計する。適応型トレイン・アンド・アンロールアプローチを導入し、トレーニング中にニューラル演算子の深さが徐々に増加する。
論文参考訳（メタデータ） (2025-08-28T10:53:00Z)
LaPON: A Lagrange's-mean-value-theorem-inspired operator network for solving PDEs and its application on NSE [8.014720523981385]
ラグランジュの平均値定理に着想を得た演算子ネットワークであるLaPONを提案する。損失関数ではなく、ニューラルネットワークアーキテクチャに直接、事前の知識を組み込む。 LaPONは、高忠実度流体力学シミュレーションのためのスケーラブルで信頼性の高いソリューションを提供する。
論文参考訳（メタデータ） (2025-05-18T10:45:17Z)
Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文参考訳（メタデータ） (2023-07-27T17:42:06Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文参考訳（メタデータ） (2022-11-16T00:11:04Z)
On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
論文参考訳（メタデータ） (2022-08-07T09:02:18Z)
A memory-efficient neural ODE framework based on high-level adjoint differentiation [4.063868707697316]
我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。 PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
論文参考訳（メタデータ） (2022-06-02T20:46:26Z)
LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文参考訳（メタデータ） (2021-10-08T17:03:34Z)
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文参考訳（メタデータ） (2021-02-16T11:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。