Fugu-MT 論文翻訳(概要): Learning Differential Equations that are Easy to Solve

論文の概要: Learning Differential Equations that are Easy to Solve

arxiv url: http://arxiv.org/abs/2007.04504v2
Date: Thu, 22 Oct 2020 18:56:41 GMT
ステータス: 処理完了
システム内更新日: 2022-11-12 03:23:20.681067
Title: Learning Differential Equations that are Easy to Solve
Title（参考訳）: 解くのが容易な微分方程式の学習
Authors: Jacob Kelly, Jesse Bettencourt, Matthew James Johnson, David Duvenaud
Abstract要約: 本稿では,解軌跡の高次微分を用いて,標準数値解法における時間コストの微分可能なサロゲートを提案する。我々は、教師付き分類、密度推定、時系列モデリングタスクのモデルにおいて、ほぼ正確にトレーニングを行うことで、我々のアプローチをかなり高速に示す。
参考スコア（独自算出の注目度）: 26.05208133659686
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Differential equations parameterized by neural networks become expensive to solve numerically as training progresses. We propose a remedy that encourages learned dynamics to be easier to solve. Specifically, we introduce a differentiable surrogate for the time cost of standard numerical solvers, using higher-order derivatives of solution trajectories. These derivatives are efficient to compute with Taylor-mode automatic differentiation. Optimizing this additional objective trades model performance against the time cost of solving the learned dynamics. We demonstrate our approach by training substantially faster, while nearly as accurate, models in supervised classification, density estimation, and time-series modelling tasks.
Abstract（参考訳）: ニューラルネットワークによってパラメータ化された微分方程式は、トレーニングが進むにつれて数値的に解くのに高価になる。我々は,学習のダイナミクスをより容易に解くように支援する手法を提案する。具体的には, 解軌跡の高次導関数を用いて, 標準数値解法における時間コストの微分可能なサロゲートを導入する。これらの微分はテイラーモードの自動微分で計算する。この追加の客観的な最適化は、学習したダイナミクスを解決するのに要する時間コストに対して、モデルのパフォーマンスをトレードオフする。提案手法は,教師付き分類,密度推定,時系列モデリングタスクにおけるモデルの精度がほぼ同じながら,かなり高速にトレーニングすることで実証する。

関連論文リスト

Tensor-Valued Time and Inference Path Optimization in Differential Equation-Based Generative Modeling [16.874769609089764]
この研究は、従来のスカラー値の時間を複数の次元に拡張するテンソル値の時間を導入している。また,多次元推論軌道を適応的に決定する新しい経路最適化問題を提案する。
論文参考訳（メタデータ） (2024-04-22T13:20:01Z)
Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
ニューラルネットワークの訓練を高速化する代替手法を提案する。我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
論文参考訳（メタデータ） (2023-08-21T11:31:15Z)
Locally Regularized Neural Differential Equations: Some Black Boxes Were Meant to Remain Closed! [3.222802562733787]
ニューラル微分方程式のような暗黙の層深層学習技術は重要なモデリングフレームワークとなっている。パフォーマンスとトレーニング時間をトレードオフする2つのサンプリング戦略を開発します。本手法は,関数評価を0.556-0.733xに削減し,予測を1.3-2xに高速化する。
論文参考訳（メタデータ） (2023-03-03T23:31:15Z)
On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文参考訳（メタデータ） (2023-02-05T01:39:21Z)
Physics-guided Data Augmentation for Learning the Solution Operator of Linear Differential Equations [2.1850269949775663]
ニューラルネットワークモデルの精度と一般化を改善するために,物理誘導型データ拡張法(PGDA)を提案する。様々な線形微分方程式におけるPGDAの利点を実証し、PGDAがサンプルの複雑さを向上し、分布シフトに頑健であることを示す。
論文参考訳（メタデータ） (2022-12-08T06:29:15Z)
Discovering ordinary differential equations that govern time-series [65.07437364102931]
本研究では, 1つの観測解の時系列データから, スカラー自律常微分方程式(ODE)を記号形式で復元するトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルを提案する。提案手法は, 1回に一度, ODE の大規模な事前訓練を行った後, モデルのいくつかの前方通過において, 新たに観測された解の法則を推測することができる。
論文参考訳（メタデータ） (2022-11-05T07:07:58Z)
Taylor-Lagrange Neural Ordinary Differential Equations: Toward Fast Training and Evaluation of Neural ODEs [22.976119802895017]
ニューラル常微分方程式(NODE)の学習のためのデータ駆動型アプローチを提案する。提案手法は,低階テイラー展開のみを用いながら,適応的なステップサイズスキームと同じ精度を実現する。一連の数値実験により、TL-NODEは最先端のアプローチよりも桁違いに高速に訓練できることが示されている。
論文参考訳（メタデータ） (2022-01-14T23:56:19Z)
Opening the Blackbox: Accelerating Neural Differential Equations by Regularizing Internal Solver Heuristics [0.0]
本論文では,適応微分方程式ソルバの内部コストと離散感性を組み合わせてトレーニング過程を導く新しい正規化手法について述べる。このアプローチは微分方程式解法アルゴリズムの背後にあるブラックボックスの数値解析を開放し、その局所誤差推定と剛性を安価で正確なコスト推定として利用する。当社のアプローチが予測時間を半減させる方法を示し、これがトレーニング時間を桁違いに向上させる方法を示します。
論文参考訳（メタデータ） (2021-05-09T12:03:03Z)
Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文参考訳（メタデータ） (2020-07-07T10:05:01Z)
STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
論文参考訳（メタデータ） (2020-06-18T17:44:50Z)
Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。