論文の概要: Adaptive Feedforward Gradient Estimation in Neural ODEs

• arxiv url: http://arxiv.org/abs/2409.14549v1
• Date: Sun, 22 Sep 2024 18:21:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 22:19:40.840130
• Title: Adaptive Feedforward Gradient Estimation in Neural ODEs
• Title（参考訳）: ニューラルネットワークにおける適応的フィードフォワード勾配推定
• Authors: Jaouad Dabounou,
• Abstract要約: 本稿では,適応フィードフォワード勾配推定を利用してニューラルネットワークの効率,一貫性,解釈性を向上させる手法を提案する。 提案手法では,バックプロパゲーションとアジョイントを不要にし,計算オーバーヘッドとメモリ使用量を削減し,精度を向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Ordinary Differential Equations (Neural ODEs) represent a significant breakthrough in deep learning, promising to bridge the gap between machine learning and the rich theoretical frameworks developed in various mathematical fields over centuries. In this work, we propose a novel approach that leverages adaptive feedforward gradient estimation to improve the efficiency, consistency, and interpretability of Neural ODEs. Our method eliminates the need for backpropagation and the adjoint method, reducing computational overhead and memory usage while maintaining accuracy. The proposed approach has been validated through practical applications, and showed good performance relative to Neural ODEs state of the art methods.
• Abstract（参考訳）: ニューラル正規微分方程式(Neural Ordinary Differential Equations)は、機械学習と数世紀にわたって様々な数学分野で発展したリッチな理論フレームワークの間のギャップを埋めることを約束し、ディープラーニングにおける重要なブレークスルーである。 本研究では,適応フィードフォワード勾配推定を利用してニューラルネットワークの効率,一貫性,解釈性を向上させる手法を提案する。 提案手法では,バックプロパゲーションとアジョイントを不要にし,計算オーバーヘッドとメモリ使用量を削減し,精度を向上する。 提案手法は実用的応用によって検証され,ニューラルODEの最先端手法と比較して優れた性能を示した。

関連論文リスト

• Continuous Learned Primal Dual [10.111901389604423]
  ニューラルネットワークの階層列は、単にODEの離散化であり、パラメータ化されたODEによって直接モデル化できるという考えを提唱する。 本研究では,ニューラルネットワークを用いた逆問題,特によく知られたLearned Primal Dualアルゴリズムについて検討し,CT(Computerd tomography)再構成に適用する。
  論文  参考訳（メタデータ） (2024-05-03T20:40:14Z)
• Uncertainty and Structure in Neural Ordinary Differential Equations [28.12033356095061]
  ラプラス近似のような基礎的で軽量なベイズ深層学習技術がニューラルネットワークに適用可能であることを示す。 我々は、最近提案された2つのニューラルODEフレームワークにおいて、機械的知識と不確実性量子化がどのように相互作用するかを考察する。
  論文  参考訳（メタデータ） (2023-05-22T17:50:42Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。