Fugu-MT 論文翻訳(概要): Correcting auto-differentiation in neural-ODE training

論文の概要: Correcting auto-differentiation in neural-ODE training

arxiv url: http://arxiv.org/abs/2306.02192v1
Date: Sat, 3 Jun 2023 20:34:14 GMT
ステータス: 処理完了
システム内更新日: 2023-06-06 19:35:01.588311
Title: Correcting auto-differentiation in neural-ODE training
Title（参考訳）: 神経ode訓練における自己分化の補正
Authors: Yewei Xu, Shi Chen, Qin Li and Stephen J. Wright
Abstract要約: ニューラルネットワークが基礎となるODEフローを近似するために高次形式を用いる場合、自動微分を用いたブルートフォース計算は、しばしば非収束人工振動を生成する。本稿では、これらの振動を効果的に排除し、計算を修正し、基礎となる流れの更新を尊重する簡単な後処理手法を提案する。
参考スコア（独自算出の注目度）: 19.472357078065194
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Does the use of auto-differentiation yield reasonable updates to deep neural networks that represent neural ODEs? Through mathematical analysis and numerical evidence, we find that when the neural network employs high-order forms to approximate the underlying ODE flows (such as the Linear Multistep Method (LMM)), brute-force computation using auto-differentiation often produces non-converging artificial oscillations. In the case of Leapfrog, we propose a straightforward post-processing technique that effectively eliminates these oscillations, rectifies the gradient computation and thus respects the updates of the underlying flow.
Abstract（参考訳）: 自己分化は、ニューラルネットワークを表現したディープニューラルネットワークに合理的な更新をもたらすか? 数学的解析と数値的な証拠により、ニューラルネットワークが基礎となるODEフロー(LMM(Linear Multistep Method)など)を近似するために高次形式を用いる場合、自動微分を用いたブルートフォース計算は、しばしば非収束人工振動を生成する。 leapfrogの場合、これらの振動を効果的に排除し、勾配計算を正し、基礎となる流れの更新を尊重する簡単な後処理手法を提案する。

関連論文リスト

Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations [0.0]
変分オートエンコーダ(VAE)はコンパクトな潜在表現を学習するための強力なフレームワークである。ニューラルネットワークは過渡系力学の学習において優れている。この研究は両者の強みを組み合わせることで、高速な代理モデルと調整可能な複雑さを生み出す。
論文参考訳（メタデータ） (2024-10-14T05:45:52Z)
On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
論文参考訳（メタデータ） (2023-07-28T13:22:32Z)
Real-Time Variational Method for Learning Neural Trajectory and its Dynamics [7.936841911281107]
本稿では,指数関数型家族変動カルマンフィルタ(eVKF)について紹介する。我々は、カルマンフィルタの予測ステップに対する閉形式変分類似を導出し、他のオンライン変分法と比較してELBO上の有意な厳密な境界を導出する。我々は,本手法を実世界の合成・実世界のデータで検証し,特に競争性能が向上したことを示す。
論文参考訳（メタデータ） (2023-05-18T19:52:46Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Virtual Analog Modeling of Distortion Circuits Using Neural Ordinary Differential Equations [1.8352113484137629]
ディープラーニングに関する最近の研究は、ニューラルネットワークが動的システムを管理する微分方程式を学習できることを示した。本稿では,この概念を仮想アナログ(VA)モデルに適用し,1次ダイオードクリッパーと2次ダイオードクリッパーの常微分方程式(ODE)を学習する。提案したモデルは、パラメータが少ないにもかかわらず、最先端のリカレントニューラルネットワーク(RNN)に匹敵する性能を達成する。
論文参考訳（メタデータ） (2022-05-04T05:19:46Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)
Accelerating Neural ODEs Using Model Order Reduction [0.0]
本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
論文参考訳（メタデータ） (2021-05-28T19:27:09Z)
Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文参考訳（メタデータ） (2020-05-05T01:41:46Z)
Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文参考訳（メタデータ） (2020-03-11T13:15:57Z)
Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。