論文の概要: Closed-form Continuous-Depth Models

• arxiv url: http://arxiv.org/abs/2106.13898v1
• Date: Fri, 25 Jun 2021 22:08:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 13:46:22.716851
• Title: Closed-form Continuous-Depth Models
• Title（参考訳）: 閉形式連続深層モデル
• Authors: Ramin Hasani, Mathias Lechner, Alexander Amini, Lucas Liebenwein, Max Tschaikowski, Gerald Teschl, Daniela Rus
• Abstract要約: 連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
• 参考スコア（独自算出の注目度）: 99.40335716948101
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Continuous-depth neural models, where the derivative of the model's hidden state is defined by a neural network, have enabled strong sequential data processing capabilities. However, these models rely on advanced numerical differential equation (DE) solvers resulting in a significant overhead both in terms of computational cost and model complexity. In this paper, we present a new family of models, termed Closed-form Continuous-depth (CfC) networks, that are simple to describe and at least one order of magnitude faster while exhibiting equally strong modeling abilities compared to their ODE-based counterparts. The models are hereby derived from the analytical closed-form solution of an expressive subset of time-continuous models, thus alleviating the need for complex DE solvers all together. In our experimental evaluations, we demonstrate that CfC networks outperform advanced, recurrent models over a diverse set of time-series prediction tasks, including those with long-term dependencies and irregularly sampled data. We believe our findings open new opportunities to train and deploy rich, continuous neural models in resource-constrained settings, which demand both performance and efficiency.
• Abstract（参考訳）: モデル隠れ状態の微分がニューラルネットワークによって定義される連続深度ニューラルネットワークは、強力なシーケンシャルなデータ処理機能を実現している。 しかし、これらのモデルは高度な数値微分方程式(DE)の解法に依存しており、計算コストとモデルの複雑さの両方において大きなオーバーヘッドをもたらす。 本稿では,CfCネットワークと呼ばれる新しいモデル群について述べる。そのモデル群は,ODEをベースとしたモデルと同等に強力なモデリング能力を示しながら,記述が簡単で,少なくとも1桁高速である。 モデルは、時間連続モデルの表現的部分集合の解析的閉形式解から導出され、複雑なdeソルバの必要性を全て和らげる。 実験により,CfCネットワークは長期依存や不規則なサンプルデータを含む様々な時系列予測タスクにおいて,高度で反復的なモデルよりも優れていることを示した。 私たちは、リソース制約のある環境でリッチで継続的なニューラルモデルをトレーニングし、デプロイする新たな機会が、パフォーマンスと効率の両方を必要としている、と信じています。

関連論文リスト

• Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
  Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。 絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-10-28T15:54:50Z)
• Neural Network-Based Piecewise Survival Models [0.3999851878220878]
  ニューラルネットワークに基づくサバイバルモデルのファミリが提示される。 これらのモデルは、一般的に使用される離散時間および部分指数モデルの拡張と見なすことができる。
  論文  参考訳（メタデータ） (2024-03-27T15:08:00Z)
• Learning Space-Time Continuous Neural PDEs from Partially Observed States [13.01244901400942]
  格子独立モデル学習偏微分方程式(PDE)を雑音および不規則格子上の部分的な観測から導入する。 本稿では、効率的な確率的フレームワークとデータ効率とグリッド独立性を改善するための新しい設計エンコーダを備えた時空間連続型ニューラルネットワークPDEモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-09T06:53:59Z)
• Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
  この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。 時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。 我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
  論文  参考訳（メタデータ） (2023-02-02T03:47:52Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Neural Closure Models for Dynamical Systems [35.000303827255024]
  低忠実度モデルに対する非マルコフ閉閉パラメータ化を学習する新しい手法を開発した。 ニューラルクロージャモデル」はニューラル遅延微分方程式(nDDE)を用いた低忠実度モデルを強化する 非マルコヴィアンオーバーマルコヴィアンクロージャを使用することで、長期的精度が向上し、より小さなネットワークが必要であることを示した。
  論文  参考訳（メタデータ） (2020-12-27T05:55:33Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
  我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。 このようなモデルをリアルタイム診断に利用しています。
  論文  参考訳（メタデータ） (2020-03-04T00:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。