論文の概要: Liquid Time-constant Networks

• arxiv url: http://arxiv.org/abs/2006.04439v4
• Date: Mon, 14 Dec 2020 22:23:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 23:57:46.186316
• Title: Liquid Time-constant Networks
• Title（参考訳）: 液体時間定数ネットワーク
• Authors: Ramin Hasani, Mathias Lechner, Alexander Amini, Daniela Rus, Radu Grosu
• Abstract要約: 本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
• 参考スコア（独自算出の注目度）: 117.57116214802504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a new class of time-continuous recurrent neural network models. Instead of declaring a learning system's dynamics by implicit nonlinearities, we construct networks of linear first-order dynamical systems modulated via nonlinear interlinked gates. The resulting models represent dynamical systems with varying (i.e., liquid) time-constants coupled to their hidden state, with outputs being computed by numerical differential equation solvers. These neural networks exhibit stable and bounded behavior, yield superior expressivity within the family of neural ordinary differential equations, and give rise to improved performance on time-series prediction tasks. To demonstrate these properties, we first take a theoretical approach to find bounds over their dynamics and compute their expressive power by the trajectory length measure in latent trajectory space. We then conduct a series of time-series prediction experiments to manifest the approximation capability of Liquid Time-Constant Networks (LTCs) compared to classical and modern RNNs. Code and data are available at https://github.com/raminmh/liquid_time_constant_networks
• Abstract（参考訳）: 本稿では,新しい時間連続型リカレントニューラルネットワークモデルを提案する。 暗黙の非線形性によって学習システムのダイナミクスを宣言する代わりに、非線形相互リンクゲートを介して変調される線形一階力学系のネットワークを構築する。 その結果得られたモデルは、隠れた状態と(液体)時間定数が結合した力学系を表し、出力は数値微分方程式解法によって計算される。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、神経常微分方程式の族の中で優れた表現性をもたらし、時系列予測タスクの性能向上をもたらす。 これらの性質を実証するために、まず、その力学上の境界を見つけ、潜在軌道空間における軌道長測度によってそれらの表現力を計算するための理論的アプローチをとる。 次に,液体時間定数ネットワーク(ltcs)を古典的および現代的rnnと比較し,近似能力を示す時系列予測実験を行った。 コードとデータはhttps://github.com/raminmh/liquid_time_constant_networksで入手できる。

関連論文リスト

• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction [13.521272923545409]
  連続学習に基づく非教師付きリカレントスパイキングニューラルネットワークモデル(CLURSNN)を提案する。 CLURSNNは、ランダム遅延埋め込み(Random Delay Embedding)を使用して基盤となる動的システムを再構築することで、オンライン予測を行う。 提案手法は,進化するロレンツ63力学系を予測する際に,最先端のDNNモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-10T16:18:37Z)
• Semi-supervised Learning of Partial Differential Operators and Dynamical Flows [68.77595310155365]
  本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。 本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。 その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
  論文  参考訳（メタデータ） (2022-07-28T19:59:14Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Accelerating Simulation of Stiff Nonlinear Systems using Continuous-Time Echo State Networks [1.1545092788508224]
  本研究では, 非線形常微分方程式の代用格子を動的に生成するデータ駆動手法を提案する。 加熱システムの物理的に動機付けられたスケーラブルなモデル上で,CTESNを用いたほぼ一定時間の性能を実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-07T17:40:06Z)
• Hierarchical Deep Learning of Multiscale Differential Equation Time-Steppers [5.6385744392820465]
  本研究では,時間スケールの異なる範囲にわたる動的システムのフローマップを近似するために,ディープニューラルネットワークの時間ステップ階層を構築した。 結果のモデルは純粋にデータ駆動であり、マルチスケールのダイナミックスの特徴を活用する。 我々は,LSTM,貯水池計算,クロックワークRNNなどの最先端手法に対して,我々のアルゴリズムをベンチマークする。
  論文  参考訳（メタデータ） (2020-08-22T07:16:53Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)
• Learning Continuous-Time Dynamics by Stochastic Differential Networks [32.63114111531396]
  変動微分ネットワーク(VSDN)という,フレキシブルな連続時間リカレントニューラルネットワークを提案する。 VSDNは神経微分方程式(SDE)による散発時間系列の複雑なダイナミクスを埋め込む VSDNは最先端の継続的ディープラーニングモデルより優れており、散発時系列の予測やタスクにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-06-11T01:40:34Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。