Fugu-MT 論文翻訳(概要): Correcting Auto-Differentiation in Neural-ODE Training

論文の概要: Correcting Auto-Differentiation in Neural-ODE Training

arxiv url: http://arxiv.org/abs/2306.02192v2
Date: Wed, 03 Sep 2025 01:05:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-04 21:40:46.160987
Title: Correcting Auto-Differentiation in Neural-ODE Training
Title（参考訳）: ニューラルネットワーク学習における自己識別の補正
Authors: Yewei Xu, Shi Chen, Qin Li,
Abstract要約: ニューラルネットワークが高次法を用いる場合、ブルート力の自己微分は、収束を防ぐための勾配に人工的な振動をもたらすことがよく示される。本稿では、これらの振動を効果的に排除し、勾配を補正し、正確な更新を返すための単純な後処理手法を提案する。
参考スコア（独自算出の注目度）: 3.679296863967586
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Does the use of auto-differentiation yield reasonable updates for deep neural networks (DNNs)? Specifically, when DNNs are designed to adhere to neural ODE architectures, can we trust the gradients provided by auto-differentiation? Through mathematical analysis and numerical evidence, we demonstrate that when neural networks employ high-order methods, such as Linear Multistep Methods (LMM) or Explicit Runge-Kutta Methods (ERK), to approximate the underlying ODE flows, brute-force auto-differentiation often introduces artificial oscillations in the gradients that prevent convergence. In the case of Leapfrog and 2-stage ERK, we propose simple post-processing techniques that effectively eliminates these oscillations, correct the gradient computation and thus returns the accurate updates.
Abstract（参考訳）: 自己微分の使用はディープニューラルネットワーク(DNN)に妥当な更新をもたらすか? 具体的には、DNNがニューラルODEアーキテクチャに準拠するように設計されている場合、自動微分によって提供される勾配を信頼できますか? 数式解析と数値的証拠により,線形多段階法 (LMM) や Explicit Runge-Kutta Methods (ERK) などの高次手法を用いて基礎となるODEフローを近似する場合,ブルート力自動微分は収束を防止する勾配に人工的な発振をもたらすことが示されている。 Leapfrog と 2-stage ERK の場合、これらの振動を効果的に排除し、勾配計算を補正し、正確な更新を返す単純な後処理手法を提案する。

関連論文リスト

Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
論文参考訳（メタデータ） (2025-07-22T18:20:56Z)
Learning Optical Flow Field via Neural Ordinary Differential Equation [44.16275288019991]
近年の光学フロー推定では、ニューラルネットワークを用いて、ある画像の位置を他方の位置にマッピングする流れ場を予測している。連続モデル,すなわちニューラル常微分方程式(ODE)を用いて流れの微分を予測する新しい手法を提案する。
論文参考訳（メタデータ） (2025-06-03T18:30:14Z)
Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations [0.0]
変分オートエンコーダ(VAE)はコンパクトな潜在表現を学習するための強力なフレームワークである。ニューラルネットワークは過渡系力学の学習において優れている。この研究は両者の強みを組み合わせることで、高速な代理モデルと調整可能な複雑さを生み出す。
論文参考訳（メタデータ） (2024-10-14T05:45:52Z)
On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
論文参考訳（メタデータ） (2023-07-28T13:22:32Z)
Real-Time Variational Method for Learning Neural Trajectory and its Dynamics [7.936841911281107]
本稿では,指数関数型家族変動カルマンフィルタ(eVKF)について紹介する。我々は、カルマンフィルタの予測ステップに対する閉形式変分類似を導出し、他のオンライン変分法と比較してELBO上の有意な厳密な境界を導出する。我々は,本手法を実世界の合成・実世界のデータで検証し,特に競争性能が向上したことを示す。
論文参考訳（メタデータ） (2023-05-18T19:52:46Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Virtual Analog Modeling of Distortion Circuits Using Neural Ordinary Differential Equations [1.8352113484137629]
ディープラーニングに関する最近の研究は、ニューラルネットワークが動的システムを管理する微分方程式を学習できることを示した。本稿では,この概念を仮想アナログ(VA)モデルに適用し,1次ダイオードクリッパーと2次ダイオードクリッパーの常微分方程式(ODE)を学習する。提案したモデルは、パラメータが少ないにもかかわらず、最先端のリカレントニューラルネットワーク(RNN)に匹敵する性能を達成する。
論文参考訳（メタデータ） (2022-05-04T05:19:46Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Accelerating Neural ODEs Using Model Order Reduction [0.0]
本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
論文参考訳（メタデータ） (2021-05-28T19:27:09Z)
Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文参考訳（メタデータ） (2020-05-05T01:41:46Z)
Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文参考訳（メタデータ） (2020-03-11T13:15:57Z)
Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。