論文の概要: Modeling Nonlinear Dynamics in Continuous Time with Inductive Biases on Decay Rates and/or Frequencies

• arxiv url: http://arxiv.org/abs/2212.13033v1
• Date: Mon, 26 Dec 2022 08:08:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 13:30:39.938203
• Title: Modeling Nonlinear Dynamics in Continuous Time with Inductive Biases on Decay Rates and/or Frequencies
• Title（参考訳）: 減衰率および/または周波数のインダクティブバイアスを伴う連続時間における非線形ダイナミクスのモデル化
• Authors: Tomoharu Iwata, Yoshinobu Kawahara
• Abstract要約: 本稿では, 連続時間における非線形力学のニューラルネットワークモデルを提案し, 減衰率と周波数に帰納バイアスを課すことができる。 ニューラルネットワークを用いて適切なクープマン空間を探索し、不規則にサンプリングされた時系列データを用いて、マルチステップ予測とバックキャストエラーを最小化することでトレーニングする。
• 参考スコア（独自算出の注目度）: 37.795752939016225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a neural network-based model for nonlinear dynamics in continuous time that can impose inductive biases on decay rates and/or frequencies. Inductive biases are helpful for training neural networks especially when training data are small. The proposed model is based on the Koopman operator theory, where the decay rate and frequency information is used by restricting the eigenvalues of the Koopman operator that describe linear evolution in a Koopman space. We use neural networks to find an appropriate Koopman space, which are trained by minimizing multi-step forecasting and backcasting errors using irregularly sampled time-series data. Experiments on various time-series datasets demonstrate that the proposed method achieves higher forecasting performance given a single short training sequence than the existing methods.
• Abstract（参考訳）: 本稿では,減衰率および/または周波数に誘導バイアスを課す連続時間における非線形ダイナミクスのためのニューラルネットワークモデルを提案する。 インダクティブバイアスは、特にトレーニングデータが小さい場合、ニューラルネットワークのトレーニングに役立ちます。 提案モデルはクープマン作用素理論に基づいており、クープマン空間における線形進化を記述するクープマン作用素の固有値を制限することで減衰率と周波数情報を利用する。 ニューラルネットワークを用いて適切なクープマン空間を探索し、不規則にサンプリングされた時系列データを用いてマルチステップ予測とバックキャストエラーを最小化する。 時系列データセットを用いた実験により,提案手法は既存手法よりも1つの短いトレーニングシーケンスで高い予測性能が得られることを示した。

関連論文リスト

• Koopman Neural Forecaster for Time Series with Temporal Distribution Shifts [26.95428146824254]
  時系列予測のためのクープマン理論に基づく新しいディープシーケンスモデルを提案する。 クープマンニューラルフォアキャスター (KNF) は、線形クープマン空間と選択された測定関数の係数を学習する。 我々は、KNFが複数の時系列データセットにおいて、代替よりも優れた性能を達成できることを実証した。
  論文  参考訳（メタデータ） (2022-10-07T16:33:50Z)
• A Quadrature Perspective on Frequency Bias in Neural Network Training with Nonuniform Data [1.7188280334580197]
  勾配に基づくアルゴリズムは、高周波残差を減らす前に低周波不適合を最小化する。 我々はニューラル・タンジェント・カーネル(NTK)を用いて、定値あるいは一点的な確率密度からデータを引き出す訓練において、理論的に厳密な分析を行う。
  論文  参考訳（メタデータ） (2022-05-28T02:31:19Z)
• DeepBayes -- an estimator for parameter estimation in stochastic nonlinear dynamical models [11.917949887615567]
  本研究では,DeepBayes推定器を提案する。 ディープリカレントニューラルネットワークアーキテクチャはオフラインでトレーニングでき、推論中にかなりの時間を節約できる。 提案手法の異なる実例モデルへの適用性を実証し, 最先端手法との詳細な比較を行う。
  論文  参考訳（メタデータ） (2022-05-04T18:12:17Z)
• Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data [44.431266188350655]
  勾配降下による一般化を訓練した2層ニューラルネットワークの一般化誤差を考察する。 ニューラルネットワークはトレーニングエラーをゼロにし、ノイズの多いトレーニングラベルを完璧に適合させ、同時に最小限のテストエラーを達成できる。 線形あるいはカーネルベースの予測器を必要とする良性オーバーフィッティングに関するこれまでの研究とは対照的に、我々の分析はモデルと学習力学の両方が基本的に非線形であるような環境で成り立っている。
  論文  参考訳（メタデータ） (2022-02-11T23:04:00Z)
• Meta-Learning for Koopman Spectral Analysis with Short Time-series [49.41640137945938]
  既存の手法では、ニューラルネットワークのトレーニングに長い時間を要する。 本稿では,未知の短い時系列から埋め込み関数を推定するメタラーニング手法を提案する。 提案手法は,固有値推定と将来予測の観点から,よりよい性能を実現することを実験的に実証した。
  論文  参考訳（メタデータ） (2021-02-09T07:19:19Z)
• Neural Dynamic Mode Decomposition for End-to-End Modeling of Nonlinear Dynamics [49.41640137945938]
  ニューラルネットワークに基づくリフト関数を推定するためのニューラルダイナミックモード分解法を提案する。 提案手法により,予測誤差はニューラルネットワークとスペクトル分解によって逆伝搬される。 提案手法の有効性を,固有値推定と予測性能の観点から実証した。
  論文  参考訳（メタデータ） (2020-12-11T08:34:26Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Forecasting Sequential Data using Consistent Koopman Autoencoders [52.209416711500005]
  クープマン理論に関連する新しい物理学に基づく手法が導入された。 本稿では,既存の作業の多くと異なり,前方・後方のダイナミクスを生かした新しいコンシスタント・クープマン・オートエンコーダモデルを提案する。 このアプローチの鍵となるのは、一貫性のある力学と関連するクープマン作用素との相互作用を探索する新しい解析である。
  論文  参考訳（メタデータ） (2020-03-04T18:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。