Fugu-MT 論文翻訳(概要): Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs

論文の概要: Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs

arxiv url: http://arxiv.org/abs/2003.05271v2
Date: Fri, 30 Oct 2020 21:44:17 GMT
ステータス: 処理完了
システム内更新日: 2022-12-24 13:18:04.559933
Title: Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs
Title（参考訳）: 神経odeにおける勾配伝播の高速化のための補間法
Authors: Talgat Daulbaev and Alexandr Katrutsa and Larisa Markeeva and Julia Gusak and Andrzej Cichocki and Ivan Oseledets
Abstract要約: 本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
参考スコア（独自算出の注目度）: 71.26657499537366
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a simple interpolation-based method for the efficient approximation of gradients in neural ODE models. We compare it with the reverse dynamic method (known in the literature as "adjoint method") to train neural ODEs on classification, density estimation, and inference approximation tasks. We also propose a theoretical justification of our approach using logarithmic norm formalism. As a result, our method allows faster model training than the reverse dynamic method that was confirmed and validated by extensive numerical experiments for several standard benchmarks.
Abstract（参考訳）: ニューラルネットワークモデルにおける勾配の効率的な近似のための簡単な補間法を提案する。本稿では,ニューラルネットワークの分類,密度推定,推論近似タスクを学習するために,逆動的手法(文献ではadjoint methodと呼ばれている)と比較する。また,対数ノルム形式を用いたアプローチの理論的正当化も提案する。その結果,いくつかの標準ベンチマークにおける広範囲な数値実験により検証,検証された逆動的手法よりも高速なモデルトレーニングが可能となった。

関連論文リスト

Adaptive Feedforward Gradient Estimation in Neural ODEs [0.0]
本稿では,適応フィードフォワード勾配推定を利用してニューラルネットワークの効率,一貫性,解釈性を向上させる手法を提案する。提案手法では,バックプロパゲーションとアジョイントを不要にし,計算オーバーヘッドとメモリ使用量を削減し,精度を向上する。
論文参考訳（メタデータ） (2024-09-22T18:21:01Z)
Correcting auto-differentiation in neural-ODE training [19.472357078065194]
ニューラルネットワークが基礎となるODEフローを近似するために高次形式を用いる場合、自動微分を用いたブルートフォース計算は、しばしば非収束人工振動を生成する。本稿では、これらの振動を効果的に排除し、計算を修正し、基礎となる流れの更新を尊重する簡単な後処理手法を提案する。
論文参考訳（メタデータ） (2023-06-03T20:34:14Z)
A Geometric Perspective on Diffusion Models [57.27857591493788]
本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
論文参考訳（メタデータ） (2023-05-31T15:33:16Z)
Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文参考訳（メタデータ） (2023-04-10T17:54:38Z)
Implementation and (Inverse Modified) Error Analysis for implicitly-templated ODE-nets [0.0]
我々は,暗黙的な数値初期値問題解法に基づいてテンプレート化されたODE-netを用いてデータから未知のダイナミクスを学習することに焦点を当てた。我々は,非ロール型暗黙的スキームを用いて,ODE-netの逆修正誤り解析を行い,解釈を容易にする。我々は,誤差のレベルを監視し,暗黙的な解反復数に適応する適応アルゴリズムを定式化する。
論文参考訳（メタデータ） (2023-03-31T06:47:02Z)
Extended dynamic mode decomposition with dictionary learning using neural ordinary differential equations [0.8701566919381223]
NODEを用いた拡張動的モード分解を行うアルゴリズムを提案する。数値実験により,提案手法のパラメータ効率の優位性を示す。
論文参考訳（メタデータ） (2021-10-01T06:56:14Z)
Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
論文参考訳（メタデータ） (2021-06-22T08:40:51Z)
Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文参考訳（メタデータ） (2021-03-15T17:26:34Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。