論文の概要: Cubic Spline Smoothing Compensation for Irregularly Sampled Sequences

• arxiv url: http://arxiv.org/abs/2010.01381v1
• Date: Sat, 3 Oct 2020 16:15:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 08:53:59.890481
• Title: Cubic Spline Smoothing Compensation for Irregularly Sampled Sequences
• Title（参考訳）: 不規則サンプリングシーケンスに対するキュービックスプライン平滑化補償
• Authors: Jing Shi, Jing Bi, Yingru Liu, Chenliang Xu
• Abstract要約: リカレントニューラルネットワークとニューラル常微分ネットワーク(ODE-RNN)の結合は、不規則に観測されたシーケンスをモデル化するのに有効である。 ODEは観測間隔間でスムーズな隠れ状態を生成するが、RNNは新しい観測が到着すると隠れ状態ジャンプをトリガーする。 本稿では,ODE-RNNの出力と隠れ状態のいずれにおいてもスタンドアロンモジュールであり,エンドツーエンドでトレーニング可能な立方体スプライン平滑化補償法を提案する。
• 参考スコア（独自算出の注目度）: 42.27009455538217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The marriage of recurrent neural networks and neural ordinary differential networks (ODE-RNN) is effective in modeling irregularly-observed sequences. While ODE produces the smooth hidden states between observation intervals, the RNN will trigger a hidden state jump when a new observation arrives, thus cause the interpolation discontinuity problem. To address this issue, we propose the cubic spline smoothing compensation, which is a stand-alone module upon either the output or the hidden state of ODE-RNN and can be trained end-to-end. We derive its analytical solution and provide its theoretical interpolation error bound. Extensive experiments indicate its merits over both ODE-RNN and cubic spline interpolation.
• Abstract（参考訳）: 再帰的ニューラルネットワークと神経常微分ネットワーク(ode-rnn)の結合は、不規則に観測されたシーケンスのモデル化に有効である。 ODEは観測間隔間でスムーズな隠れ状態を生成するが、新しい観測が到着するとRNNは隠れ状態ジャンプをトリガーし、補間不連続問題を引き起こす。 そこで本研究では,ODE-RNNの出力と隠れ状態のいずれにおいてもスタンドアロンモジュールであり,エンドツーエンドでトレーニング可能な立方体スプライン平滑化補償法を提案する。 解析解を導出し、理論的補間誤差境界を提供する。 広範な実験は、ode-rnnと立方体スプラインの補間に対する利点を示している。

関連論文リスト

• Revising the Structure of Recurrent Neural Networks to Eliminate Numerical Derivatives in Forming Physics Informed Loss Terms with Respect to Time [0.0]
  Mutual Interval RNN (MI-RNN) は、バーガーズ方程式、不規則領域における非定常熱伝導、グリーン渦問題という3つの異なるベンチマークを解くために用いられる。 以上の結果から,MI-RNNは既存のRNNモデルよりも正確な解を見つけることができることがわかった。
  論文  参考訳（メタデータ） (2024-09-16T15:24:25Z)
• Kernel Limit of Recurrent Neural Networks Trained on Ergodic Data Sequences [0.0]
  我々は、リカレントニューラルネットワーク(RNN)の接点を、隠されたユニットの数、シーケンス内のデータサンプル、隠された状態更新、トレーニングステップを同時に無限に成長させるものとして特徴づける。 これらの手法は、データサンプルの数とニューラルネットワークのサイズが無限に増加するにつれて、データシーケンスに基づいてトレーニングされたRNNのニューラルネットワーク(NTK)制限を引き起こす。
  論文  参考訳（メタデータ） (2023-08-28T13:17:39Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Framing RNN as a kernel method: A neural ODE approach [11.374487003189468]
  我々は,RNNの解を,入力シーケンスの特定の特徴集合の線形関数と見なせることを示す。 我々は,大規模なリカレントネットワークの一般化と安定性に関する理論的保証を得る。
  論文  参考訳（メタデータ） (2021-06-02T14:46:40Z)
• Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies [15.2292571922932]
  本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。 提案するRNNは, 2次常微分方程式系の時間分解に基づく。 実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2020-10-02T12:35:04Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。