論文の概要: Neural Flows: Efficient Alternative to Neural ODEs

• arxiv url: http://arxiv.org/abs/2110.13040v1
• Date: Mon, 25 Oct 2021 15:24:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 18:49:30.207218
• Title: Neural Flows: Efficient Alternative to Neural ODEs
• Title（参考訳）: ニューラルフロー:ニューラルodeの効率的な代替
• Authors: Marin Bilo\v{s}, Johanna Sommer, Syama Sundar Rangapuram, Tim Januschowski, Stephan G\"unnemann
• Abstract要約: 本稿では,ORのフローである解曲線を直接ニューラルネットワークでモデル化する手法を提案する。 これにより、ニューラルネットワークのモデリング能力を維持しながら、高価な数値解法の必要性はすぐに解消される。
• 参考スコア（独自算出の注目度）: 8.01886971335823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural ordinary differential equations describe how values change in time. This is the reason why they gained importance in modeling sequential data, especially when the observations are made at irregular intervals. In this paper we propose an alternative by directly modeling the solution curves - the flow of an ODE - with a neural network. This immediately eliminates the need for expensive numerical solvers while still maintaining the modeling capability of neural ODEs. We propose several flow architectures suitable for different applications by establishing precise conditions on when a function defines a valid flow. Apart from computational efficiency, we also provide empirical evidence of favorable generalization performance via applications in time series modeling, forecasting, and density estimation.
• Abstract（参考訳）: ニューラル常微分方程式は時間における値の変化を記述する。 これが、特に不規則な間隔で観測される場合、シーケンシャルなデータのモデリングの重要性を増した理由である。 本稿では,その解曲線(ODEの流れ)をニューラルネットワークで直接モデル化する手法を提案する。 これにより、ニューラルネットワークodeのモデリング能力を維持しながら、高価な数値解法の必要性がすぐになくなる。 本稿では,関数が有効なフローを定義する際の正確な条件を定め,異なるアプリケーションに適したフローアーキテクチャを提案する。 計算効率を別にすれば,時系列モデリング,予測,密度推定などの応用により,良好な一般化性能を示す実証的証拠を提供する。

関連論文リスト

• Data-driven Modeling and Inference for Bayesian Gaussian Process ODEs via Double Normalizing Flows [28.62579476863723]
  本稿では,ODEベクトル場を再パラメータ化するために正規化フローを導入し,データ駆動の事前分布を導出する。 また, GP ODE の後部推定に正規化フローを適用し, 強平均場仮定の問題を解く。 シミュレーション力学系と実世界の人間の動作データに対するアプローチの有効性を検証した。
  論文  参考訳（メタデータ） (2023-09-17T09:28:47Z)
• Neural Differential Recurrent Neural Network with Adaptive Time Steps [11.999568208578799]
  隠れ状態の時間的発達を表すためにニューラルODEを用いるRNN-ODE-Adapと呼ばれるRNNベースのモデルを提案する。 我々は、データの変化の急激さに基づいて時間ステップを適応的に選択し、「スパイクのような」時系列に対してより効率的にモデルを訓練する。
  論文  参考訳（メタデータ） (2023-06-02T16:46:47Z)
• Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
  この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。 時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。 我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
  論文  参考訳（メタデータ） (2023-02-02T03:47:52Z)
• Neural ODEs with Irregular and Noisy Data [8.349349605334316]
  ノイズや不規則なサンプル測定を用いて微分方程式を学習する手法について議論する。 我々の方法論では、ディープニューラルネットワークとニューラル常微分方程式(ODE)アプローチの統合において、大きな革新が見られる。 ベクトル場を記述するモデルを学習するためのフレームワークは,雑音測定において非常に効果的である。
  論文  参考訳（メタデータ） (2022-05-19T11:24:41Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。