論文の概要: Locally Regularized Neural Differential Equations: Some Black Boxes Were Meant to Remain Closed!

• arxiv url: http://arxiv.org/abs/2303.02262v3
• Date: Fri, 2 Jun 2023 14:52:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 19:47:39.480305
• Title: Locally Regularized Neural Differential Equations: Some Black Boxes Were Meant to Remain Closed!
• Title（参考訳）: 局所正規化神経微分方程式: いくつかのブラックボックスは閉じるつもりだった!
• Authors: Avik Pal, Alan Edelman, Chris Rackauckas
• Abstract要約: ニューラル微分方程式のような暗黙の層深層学習技術は重要なモデリングフレームワークとなっている。 パフォーマンスとトレーニング時間をトレードオフする2つのサンプリング戦略を開発します。 本手法は,関数評価を0.556-0.733xに削減し,予測を1.3-2xに高速化する。
• 参考スコア（独自算出の注目度）: 3.222802562733787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Implicit layer deep learning techniques, like Neural Differential Equations, have become an important modeling framework due to their ability to adapt to new problems automatically. Training a neural differential equation is effectively a search over a space of plausible dynamical systems. However, controlling the computational cost for these models is difficult since it relies on the number of steps the adaptive solver takes. Most prior works have used higher-order methods to reduce prediction timings while greatly increasing training time or reducing both training and prediction timings by relying on specific training algorithms, which are harder to use as a drop-in replacement due to strict requirements on automatic differentiation. In this manuscript, we use internal cost heuristics of adaptive differential equation solvers at stochastic time points to guide the training toward learning a dynamical system that is easier to integrate. We "close the black-box" and allow the use of our method with any adjoint technique for gradient calculations of the differential equation solution. We perform experimental studies to compare our method to global regularization to show that we attain similar performance numbers without compromising the flexibility of implementation on ordinary differential equations (ODEs) and stochastic differential equations (SDEs). We develop two sampling strategies to trade off between performance and training time. Our method reduces the number of function evaluations to 0.556-0.733x and accelerates predictions by 1.3-2x.
• Abstract（参考訳）: ニューラル微分方程式のような暗黙的な層深層学習技術は、新しい問題に自動的に適応できるため、重要なモデリングフレームワークとなっている。 神経微分方程式の訓練は、効果的に可算力学系の空間上の探索である。 しかし、適応解法が行うステップの数に依存するため、これらのモデルに対する計算コストの制御は困難である。 従来のほとんどの研究では、予測タイミングの削減に高次手法を使用しており、トレーニング時間を大幅に増加させたり、特定のトレーニングアルゴリズムに依存することにより、トレーニング時間と予測タイミングの両方を削減したりしている。 本稿では,確率的時点における適応微分方程式解法の内部コストヒューリスティックスを用いて,より統合が容易な力学系の学習を指導する。 我々は「ブラックボックスを閉じる」ことで、微分方程式解の勾配計算に任意の随伴手法を用いることができる。 本手法を大域的正則化と比較し,通常の微分方程式 (odes) と確率微分方程式 (sdes) の実装の柔軟性を損なうことなく,同様の性能を得られることを示した。 パフォーマンスとトレーニング時間をトレードオフする2つのサンプリング戦略を開発します。 本手法は関数評価を0.556-0.733xに削減し,予測を1.3-2x高速化する。

関連論文リスト

• PICL: Physics Informed Contrastive Learning for Partial Differential Equations [7.136205674624813]
  我々は,複数の支配方程式にまたがるニューラル演算子一般化を同時に改善する,新しいコントラスト事前学習フレームワークを開発する。 物理インフォームドシステムの進化と潜在空間モデル出力の組み合わせは、入力データに固定され、我々の距離関数で使用される。 物理インフォームドコントラストプレトレーニングにより,1次元および2次元熱,バーガーズ,線形対流方程式に対する固定フューチャーおよび自己回帰ロールアウトタスクにおけるフーリエニューラル演算子の精度が向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-29T17:32:22Z)
• Solving differential equations using physics informed deep learning: a hand-on tutorial with benchmark tests [0.0]
  ディープラーニングとニューラルネットワークによる微分方程式の解法について再検討する。 トレーニングプロセスに最小限のデータを使用する可能性に焦点を当てます。 単純な方程式モデルに関するチュートリアルは、通常の微分方程式の方法の実践方法を説明している。
  論文  参考訳（メタデータ） (2023-02-23T16:08:39Z)
• Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling [72.84259710412293]
  アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。 本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
  論文  参考訳（メタデータ） (2022-11-13T17:48:04Z)
• Semi-supervised Learning of Partial Differential Operators and Dynamical Flows [68.77595310155365]
  本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。 本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。 その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
  論文  参考訳（メタデータ） (2022-07-28T19:59:14Z)
• Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
  本稿では, 音素の効率的な微分可能シミュレーション法を提案する。 これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。 提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T04:48:13Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Opening the Blackbox: Accelerating Neural Differential Equations by Regularizing Internal Solver Heuristics [0.0]
  本論文では,適応微分方程式ソルバの内部コストと離散感性を組み合わせてトレーニング過程を導く新しい正規化手法について述べる。 このアプローチは微分方程式解法アルゴリズムの背後にあるブラックボックスの数値解析を開放し、その局所誤差推定と剛性を安価で正確なコスト推定として利用する。 当社のアプローチが予測時間を半減させる方法を示し、これがトレーニング時間を桁違いに向上させる方法を示します。
  論文  参考訳（メタデータ） (2021-05-09T12:03:03Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• DiffPD: Differentiable Projective Dynamics with Contact [65.88720481593118]
  DiffPDは、暗黙の時間積分を持つ効率的な微分可能なソフトボディシミュレータである。 我々はDiffPDの性能を評価し,様々な応用における標準ニュートン法と比較して4～19倍のスピードアップを観測した。
  論文  参考訳（メタデータ） (2021-01-15T00:13:33Z)
• Learning Differential Equations that are Easy to Solve [26.05208133659686]
  本稿では,解軌跡の高次微分を用いて,標準数値解法における時間コストの微分可能なサロゲートを提案する。 我々は、教師付き分類、密度推定、時系列モデリングタスクのモデルにおいて、ほぼ正確にトレーニングを行うことで、我々のアプローチをかなり高速に示す。
  論文  参考訳（メタデータ） (2020-07-09T01:39:34Z)
• Physarum Powered Differentiable Linear Programming Layers and Applications [48.77235931652611]
  一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。 本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
  論文  参考訳（メタデータ） (2020-04-30T01:50:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。