論文の概要: Efficient, Accurate and Stable Gradients for Neural ODEs

• arxiv url: http://arxiv.org/abs/2410.11648v1
• Date: Tue, 15 Oct 2024 14:36:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:54.416396
• Title: Efficient, Accurate and Stable Gradients for Neural ODEs
• Title（参考訳）: ニューラルネットワークの効率, 精度, 安定性
• Authors: Sam McCallum, James Foster,
• Abstract要約: 本稿では高次かつ数値的に安定な代数的可逆解器のクラスを示す。 この構造は自然にニューラルCDEとSDEの数値スキームにまで拡張される。
• 参考スコア（独自算出の注目度）: 3.79830302036482
• License:
• Abstract: Neural ODEs are a recently developed model class that combine the strong model priors of differential equations with the high-capacity function approximation of neural networks. One advantage of Neural ODEs is the potential for memory-efficient training via the continuous adjoint method. However, memory-efficient training comes at the cost of approximate gradients. Therefore, in practice, gradients are often obtained by simply backpropagating through the internal operations of the forward ODE solve - incurring high memory cost. Interestingly, it is possible to construct algebraically reversible ODE solvers that allow for both exact gradients and the memory-efficiency of the continuous adjoint method. Unfortunately, current reversible solvers are low-order and suffer from poor numerical stability. The use of these methods in practice is therefore limited. In this work, we present a class of algebraically reversible solvers that are both high-order and numerically stable. Moreover, any explicit numerical scheme can be made reversible by our method. This construction naturally extends to numerical schemes for Neural CDEs and SDEs.
• Abstract（参考訳）: ニューラルODEは、微分方程式の強いモデル先行とニューラルネットワークの高容量関数近似を組み合わせた、最近開発されたモデルクラスである。 Neural ODEsの利点の1つは、連続的な随伴法によるメモリ効率のトレーニングの可能性である。 しかし、メモリ効率のトレーニングは、近似勾配のコストがかかる。 したがって、実際には、フォワードODE解決の内部操作を単純にバックプロパゲートすることで、高メモリコストを発生させることで、グラデーションを得ることが多い。 興味深いことに、連続随伴法の正確な勾配とメモリ効率の両方を可能にする代数的に可逆なODEソルバを構築することができる。 残念ながら、現在の可逆解法は低次であり、数値安定性に乏しい。 したがって、これらの手法を実際に使用することは限られている。 本研究では,高次かつ数値的に安定な代数的可逆解器のクラスを示す。 さらに,本手法では,任意の明示的な数値スキームを可逆的にすることができる。 この構造は自然にニューラルCDEとSDEの数値スキームにまで拡張される。

関連論文リスト

• Accelerated Training through Iterative Gradient Propagation Along the Residual Path [46.577761606415805]
  ハイウェイバックプロパゲーションは、バックプロパゲーションを近似する並列化可能な反復アルゴリズムである。 ResNetやTransformerから、リカレントニューラルネットワークまで、さまざまな共通アーキテクチャセットに適応可能である。
  論文  参考訳（メタデータ） (2025-01-28T17:14:42Z)
• Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability [76.6724135757723]
  GANインバージョンは、事前訓練されたGANの潜在空間に入力イメージを反転させることを目的としている。 GANの逆転の最近の進歩にもかかわらず、歪みと編集性の間のトレードオフを軽減するための課題は残されている。 本稿では、まず入力画像をピボットコードと呼ばれる潜在コードに反転させ、次に、入力画像を正確にピボットコードにマッピングできるようにジェネレータを変更する2段階のアプローチを提案する。
  論文  参考訳（メタデータ） (2022-07-19T16:10:16Z)
• Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs [16.516974867571175]
  本稿では、近位演算子を利用した異なる順序の暗黙のODEソルバを用いたニューラルODEの学習について考察する。 近似的暗黙解法は、数値安定性と計算効率において明示的解法よりも優れていることを保証している。
  論文  参考訳（メタデータ） (2022-04-19T02:55:10Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Learned Cone-Beam CT Reconstruction Using Neural Ordinary Differential Equations [8.621792868567018]
  逆問題に対する反復的再構成アルゴリズムは、問題に関する解析的知識とデータから学んだモジュールを組み合わせる柔軟性を提供する。 計算トモグラフィでは,2次元ファンビームから3次元コーンビームデータへのアプローチの延長が困難である。 本稿では, 数値積分による残差定式化における再構成問題の解法として, ニューラル常微分方程式を用いることを提案する。
  論文  参考訳（メタデータ） (2022-01-19T12:32:38Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Gradient-augmented Supervised Learning of Optimal Feedback Laws Using State-dependent Riccati Equations [0.0]
  状態依存型Riccati方程式から生成されたデータセットから安定化フィードバック法則を訓練する。 高次元非線形安定化試験は、リアルタイムの連続的大規模アルヘブラニックリカティ方程式解を適切に訓練されたフィードフォワードニューラルネットワークで置き換えることができることを実証する。
  論文  参考訳（メタデータ） (2021-03-06T10:34:23Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)
• ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
  訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。 本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
  論文  参考訳（メタデータ） (2020-07-30T11:24:05Z)
• Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient [51.880464915253924]
  深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。 本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。