論文の概要: STEER: Simple Temporal Regularization For Neural ODEs

• arxiv url: http://arxiv.org/abs/2006.10711v3
• Date: Mon, 2 Nov 2020 12:24:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 12:56:09.399624
• Title: STEER: Simple Temporal Regularization For Neural ODEs
• Title（参考訳）: STEER: ニューラルネットワークの時間正規化
• Authors: Arnab Ghosh, Harkirat Singh Behl, Emilien Dupont, Philip H. S. Torr, Vinay Namboodiri
• Abstract要約: トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
• 参考スコア（独自算出の注目度）: 80.80350769936383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training Neural Ordinary Differential Equations (ODEs) is often computationally expensive. Indeed, computing the forward pass of such models involves solving an ODE which can become arbitrarily complex during training. Recent works have shown that regularizing the dynamics of the ODE can partially alleviate this. In this paper we propose a new regularization technique: randomly sampling the end time of the ODE during training. The proposed regularization is simple to implement, has negligible overhead and is effective across a wide variety of tasks. Further, the technique is orthogonal to several other methods proposed to regularize the dynamics of ODEs and as such can be used in conjunction with them. We show through experiments on normalizing flows, time series models and image recognition that the proposed regularization can significantly decrease training time and even improve performance over baseline models.
• Abstract（参考訳）: ニューラル正規微分方程式(ODE)の訓練は、しばしば計算コストがかかる。 実際、そのようなモデルの前方通過を計算するには、訓練中に任意に複雑になるODEを解く必要がある。 近年の研究では、ODEのダイナミクスを規則化することで、これを部分的に緩和できることが示されている。 本稿では,訓練中のODEの終了時刻をランダムにサンプリングする,新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 さらに、この手法はODEの力学を規則化するために提案された他のいくつかの手法と直交しており、それらと併用することができる。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。

関連論文リスト

• Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations [0.0]
  変分オートエンコーダ(VAE)はコンパクトな潜在表現を学習するための強力なフレームワークである。 ニューラルネットワークは過渡系力学の学習において優れている。 この研究は両者の強みを組み合わせることで、高速な代理モデルと調整可能な複雑さを生み出す。
  論文  参考訳（メタデータ） (2024-10-14T05:45:52Z)
• Functional Latent Dynamics for Irregularly Sampled Time Series Forecasting [5.359176539960004]
  不規則にサンプリングされた時系列は、医療、気候、天文学など、複数の現実世界の応用でしばしば見られる。 機能潜在ダイナミクス(FLD)と呼ばれるモデル群を提案する。 正規微分方程式(ODE)を解く代わりに、モデル内の連続潜時状態を特定するために、常に点が存在する単純な曲線を用いる。
  論文  参考訳（メタデータ） (2024-05-06T15:53:55Z)
• Invertible Solution of Neural Differential Equations for Analysis of Irregularly-Sampled Time Series [4.14360329494344]
  本稿では,不規則な時系列データと不完全時系列データの複雑度を扱うために,ニューラル微分方程式(NDE)に基づく非可逆解を提案する。 計算負荷を低く抑えながら可逆性を確保するニューラルフローを用いたニューラル制御微分方程式(Neural Controlled Differential Equations, ニューラルCDE)の変動について提案する。 我々のアプローチの核となるのは拡張された二重潜在状態アーキテクチャであり、様々な時系列タスクにおいて高精度に設計されている。
  論文  参考訳（メタデータ） (2024-01-10T07:51:02Z)
• Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
  ニューラルネットワークの訓練を高速化する代替手法を提案する。 我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。 また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
  論文  参考訳（メタデータ） (2023-08-21T11:31:15Z)
• Predicting Ordinary Differential Equations with Transformers [65.07437364102931]
  単一溶液軌道の不規則サンプリングおよび雑音観測から,スカラー常微分方程式(ODE)を記号形式で復元するトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルを開発した。 提案手法は, 1回に一度, ODE の大規模な事前訓練を行った後, モデルのいくつかの前方通過において, 新たな観測解の法則を推測することができる。
  論文  参考訳（メタデータ） (2023-07-24T08:46:12Z)
• Discovering ordinary differential equations that govern time-series [65.07437364102931]
  本研究では, 1つの観測解の時系列データから, スカラー自律常微分方程式(ODE)を記号形式で復元するトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルを提案する。 提案手法は, 1回に一度, ODE の大規模な事前訓練を行った後, モデルのいくつかの前方通過において, 新たに観測された解の法則を推測することができる。
  論文  参考訳（メタデータ） (2022-11-05T07:07:58Z)
• On the balance between the training time and interpretability of neural ODE for time series modelling [77.34726150561087]
  本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。 ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。 本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
  論文  参考訳（メタデータ） (2022-06-07T13:49:40Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• How to train your neural ODE: the world of Jacobian and kinetic regularization [7.83405844354125]
  大規模データセット上でのニューラルODEのトレーニングは、適応的数値ODEソルバがステップサイズを非常に小さな値に洗練できるようにする必要があるため、難航していない。 最適輸送と安定性の正則化の両方を理論的に基礎的に組み合わせることで、ニューラルODEは、問題をうまく解決するすべての力学から、より単純なダイナミクスを優先する。
  論文  参考訳（メタデータ） (2020-02-07T14:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。