論文の概要: Opening the Blackbox: Accelerating Neural Differential Equations by Regularizing Internal Solver Heuristics

• arxiv url: http://arxiv.org/abs/2105.03918v1
• Date: Sun, 9 May 2021 12:03:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 14:26:02.484344
• Title: Opening the Blackbox: Accelerating Neural Differential Equations by Regularizing Internal Solver Heuristics
• Title（参考訳）: ブラックボックスを開く:内部解法ヒューリスティックスを正則化することで、神経微分方程式を加速する
• Authors: Avik Pal, Yingbo Ma, Viral Shah, Christopher Rackauckas
• Abstract要約: 本論文では,適応微分方程式ソルバの内部コストと離散感性を組み合わせてトレーニング過程を導く新しい正規化手法について述べる。 このアプローチは微分方程式解法アルゴリズムの背後にあるブラックボックスの数値解析を開放し、その局所誤差推定と剛性を安価で正確なコスト推定として利用する。 当社のアプローチが予測時間を半減させる方法を示し、これがトレーニング時間を桁違いに向上させる方法を示します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Democratization of machine learning requires architectures that automatically adapt to new problems. Neural Differential Equations (NDEs) have emerged as a popular modeling framework by removing the need for ML practitioners to choose the number of layers in a recurrent model. While we can control the computational cost by choosing the number of layers in standard architectures, in NDEs the number of neural network evaluations for a forward pass can depend on the number of steps of the adaptive ODE solver. But, can we force the NDE to learn the version with the least steps while not increasing the training cost? Current strategies to overcome slow prediction require high order automatic differentiation, leading to significantly higher training time. We describe a novel regularization method that uses the internal cost heuristics of adaptive differential equation solvers combined with discrete adjoint sensitivities to guide the training process towards learning NDEs that are easier to solve. This approach opens up the blackbox numerical analysis behind the differential equation solver's algorithm and directly uses its local error estimates and stiffness heuristics as cheap and accurate cost estimates. We incorporate our method without any change in the underlying NDE framework and show that our method extends beyond Ordinary Differential Equations to accommodate Neural Stochastic Differential Equations. We demonstrate how our approach can halve the prediction time and, unlike other methods which can increase the training time by an order of magnitude, we demonstrate similar reduction in training times. Together this showcases how the knowledge embedded within state-of-the-art equation solvers can be used to enhance machine learning.
• Abstract（参考訳）: 機械学習の民主化は、新しい問題に自動的に適応するアーキテクチャを必要とする。 NDE(Neural Differential Equations)は、ML実践者が反復モデル内のレイヤ数を選択する必要をなくすことによって、一般的なモデリングフレームワークとして登場した。 標準アーキテクチャのレイヤ数を選択することで計算コストを制御できるが、NDEでは、フォワードパスに対するニューラルネットワーク評価の回数は、適応ODEソルバのステップ数に依存することができる。 しかし、トレーニングコストを増やさなくても、最小のステップでNDEにバージョンを学ぶように強制することはできますか? スロー予測を克服するための現在の戦略は、高階の自動微分を必要とするため、トレーニング時間が大幅に向上する。 本稿では, 適応微分方程式解法の内部コストヒューリスティックスと離散随伴感性を組み合わせることで, 解き易いNDEを学習するための学習プロセスを導出する新たな正規化手法について述べる。 このアプローチは微分方程式解法の背後にあるブラックボックスの数値解析を開放し、その局所誤差推定と剛性ヒューリスティックを安価で正確なコスト推定として直接利用する。 基礎となるNDEフレームワークの変更を伴わずに本手法を組み込んで,ニューラル確率微分方程式に対応するために,正規微分方程式を超えて拡張することを示す。 我々は,我々のアプローチが予測時間を半減できることを示すとともに,トレーニング時間を桁違いに増やす他の手法とは異なり,同様のトレーニング時間を短縮できることを実証する。 このことは、最先端の方程式解法に埋め込まれた知識がどのように機械学習を強化するかを示す。

関連論文リスト

• Implementation and (Inverse Modified) Error Analysis for implicitly-templated ODE-nets [0.0]
  我々は,暗黙的な数値初期値問題解法に基づいてテンプレート化されたODE-netを用いてデータから未知のダイナミクスを学習することに焦点を当てた。 我々は,非ロール型暗黙的スキームを用いて,ODE-netの逆修正誤り解析を行い,解釈を容易にする。 我々は,誤差のレベルを監視し,暗黙的な解反復数に適応する適応アルゴリズムを定式化する。
  論文  参考訳（メタデータ） (2023-03-31T06:47:02Z)
• Locally Regularized Neural Differential Equations: Some Black Boxes Were Meant to Remain Closed! [3.222802562733787]
  ニューラル微分方程式のような暗黙の層深層学習技術は重要なモデリングフレームワークとなっている。 パフォーマンスとトレーニング時間をトレードオフする2つのサンプリング戦略を開発します。 本手法は,関数評価を0.556-0.733xに削減し,予測を1.3-2xに高速化する。
  論文  参考訳（メタデータ） (2023-03-03T23:31:15Z)
• On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
  我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling [72.84259710412293]
  アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。 本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
  論文  参考訳（メタデータ） (2022-11-13T17:48:04Z)
• A memory-efficient neural ODE framework based on high-level adjoint differentiation [4.063868707697316]
  我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。 PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
  論文  参考訳（メタデータ） (2022-06-02T20:46:26Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Learning Differential Equations that are Easy to Solve [26.05208133659686]
  本稿では,解軌跡の高次微分を用いて,標準数値解法における時間コストの微分可能なサロゲートを提案する。 我々は、教師付き分類、密度推定、時系列モデリングタスクのモデルにおいて、ほぼ正確にトレーニングを行うことで、我々のアプローチをかなり高速に示す。
  論文  参考訳（メタデータ） (2020-07-09T01:39:34Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Physarum Powered Differentiable Linear Programming Layers and Applications [48.77235931652611]
  一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。 本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
  論文  参考訳（メタデータ） (2020-04-30T01:50:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。