論文の概要: Numerical Analysis of HiPPO-LegS ODE for Deep State Space Models

• arxiv url: http://arxiv.org/abs/2412.08595v1
• Date: Wed, 11 Dec 2024 18:13:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:00:40.854440
• Title: Numerical Analysis of HiPPO-LegS ODE for Deep State Space Models
• Title（参考訳）: 深部宇宙モデルのためのHiPPO-LegS ODEの数値解析
• Authors: Jaesung R. Park, Jaewook J. Suh, Ernest K. Ryu,
• Abstract要約: ディープラーニングにおいて、最近導入された状態空間モデルは、HiPPOメモリユニットを使用して入力関数の連続時間軌道を近似する。 HiPPO-LegS ODE はその特異性にも拘わらず、任意の初期条件の自由を伴わずに十分に仮定できる。
• 参考スコア（独自算出の注目度）: 9.933900714070033
• License:
• Abstract: In deep learning, the recently introduced state space models utilize HiPPO (High-order Polynomial Projection Operators) memory units to approximate continuous-time trajectories of input functions using ordinary differential equations (ODEs), and these techniques have shown empirical success in capturing long-range dependencies in long input sequences. However, the mathematical foundations of these ODEs, particularly the singular HiPPO-LegS (Legendre Scaled) ODE, and their corresponding numerical discretizations remain unexplored. In this work, we fill this gap by establishing that HiPPO-LegS ODE is well-posed despite its singularity, albeit without the freedom of arbitrary initial conditions, and by establishing convergence of the associated numerical discretization schemes for Riemann-integrable input functions.
• Abstract（参考訳）: 最近導入された状態空間モデルでは、HiPPO(High-order Polynomial Projection Operators)メモリユニットを用いて、通常の微分方程式(ODE)を用いて入力関数の連続的な軌跡を近似し、これらの手法は長い入力シーケンスにおける長距離依存を捕捉する実験的な成功を示している。 しかし、これらのODEの数学的基礎、特に特異な HiPPO-LegS (Legendre Scaled) ODE とその対応する数値的離散化は未解明のままである。 本研究では,HipPO-LegS ODE はその特異性に拘わらず,任意の初期条件の自由性を持たず,かつリーマン積分入力関数に対する関連する数値離散化スキームの収束性を確立することにより,このギャップを埋める。

関連論文リスト

• A Deep Learning approach for parametrized and time dependent Partial Differential Equations using Dimensionality Reduction and Neural ODEs [46.685771141109306]
  時間依存・パラメトリック・(典型的には)非線形PDEに対する古典的数値解法と類似した自己回帰・データ駆動手法を提案する。 DRを活用することで、より正確な予測を提供するだけでなく、より軽量でより高速なディープラーニングモデルを提供できることを示す。
  論文  参考訳（メタデータ） (2025-02-12T11:16:15Z)
• Advancing Generalization in PINNs through Latent-Space Representations [71.86401914779019]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)によって支配される力学系のモデリングにおいて大きな進歩を遂げた。 本稿では,多種多様なPDE構成を効果的に一般化する物理インフォームドニューラルPDE解法PIDOを提案する。 PIDOは1次元合成方程式と2次元ナビエ・ストークス方程式を含む様々なベンチマークで検証する。
  論文  参考訳（メタデータ） (2024-11-28T13:16:20Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Discovering ordinary differential equations that govern time-series [65.07437364102931]
  本研究では, 1つの観測解の時系列データから, スカラー自律常微分方程式(ODE)を記号形式で復元するトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルを提案する。 提案手法は, 1回に一度, ODE の大規模な事前訓練を行った後, モデルのいくつかの前方通過において, 新たに観測された解の法則を推測することができる。
  論文  参考訳（メタデータ） (2022-11-05T07:07:58Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Constraining Gaussian Processes to Systems of Linear Ordinary Differential Equations [5.33024001730262]
  LODE-GP は定数係数を持つ線形同次ODEの系に従う。 複数の実験においてLODE-GPの有効性を示す。
  論文  参考訳（メタデータ） (2022-08-26T09:16:53Z)
• Rational Approximations of Quasi-Periodic Problems via Projected Green's Functions [0.0]
  準周期系を研究するために,予測グリーン関数法を導入する。 この技術は柔軟であり、解析結果と数値結果の両方を抽出することができる。
  論文  参考訳（メタデータ） (2021-09-28T18:00:00Z)
• Neural SDEs as Infinite-Dimensional GANs [18.07683058213448]
  我々は、SDE の適合に対する現在の古典的アプローチが、(ワッサーシュタイン) GAN の特別な場合としてアプローチされることを示した。 我々は(現代の機械学習における)連続時間生成時系列モデルとしてニューラルSDEを得る。
  論文  参考訳（メタデータ） (2021-02-06T19:59:15Z)
• Exponentially Weighted l_2 Regularization Strategy in Constructing Reinforced Second-order Fuzzy Rule-based Model [72.57056258027336]
  従来の高木スゲノカン(TSK)型ファジィモデルでは、定数あるいは線形関数がファジィ規則の連続部分として使用されるのが普通である。 調和解析で遭遇する重み関数理論にインスパイアされた指数重みアプローチを導入する。
  論文  参考訳（メタデータ） (2020-07-02T15:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。