論文の概要: HiPPO-Prophecy: State-Space Models can Provably Learn Dynamical Systems in Context

• arxiv url: http://arxiv.org/abs/2407.09375v2
• Date: Fri, 19 Jul 2024 15:34:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 21:49:14.905377
• Title: HiPPO-Prophecy: State-Space Models can Provably Learn Dynamical Systems in Context
• Title（参考訳）: HiPPO-Prophecy:状態空間モデルはコンテキストで動的システムを学ぶことができる
• Authors: Federico Arangath Joseph, Kilian Konstantin Haefeli, Noah Liniger, Caglar Gulcehre,
• Abstract要約: 本研究では、状態空間モデル(SSM)の文脈内学習能力について検討する。 我々はSSMの新たな重み構造を導入し、任意の力学系の次の状態を予測できるようにした。 我々は、連続SSMが任意の入力信号の微分を近似できることを示すために、HiPPOフレームワークを拡張した。
• 参考スコア（独自算出の注目度）: 0.5416466085090772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work explores the in-context learning capabilities of State Space Models (SSMs) and presents, to the best of our knowledge, the first theoretical explanation of a possible underlying mechanism. We introduce a novel weight construction for SSMs, enabling them to predict the next state of any dynamical system after observing previous states without parameter fine-tuning. This is accomplished by extending the HiPPO framework to demonstrate that continuous SSMs can approximate the derivative of any input signal. Specifically, we find an explicit weight construction for continuous SSMs and provide an asymptotic error bound on the derivative approximation. The discretization of this continuous SSM subsequently yields a discrete SSM that predicts the next state. Finally, we demonstrate the effectiveness of our parameterization empirically. This work should be an initial step toward understanding how sequence models based on SSMs learn in context.
• Abstract（参考訳）: 本研究では、状態空間モデル(SSM)の文脈内学習能力について検討し、その基礎となるメカニズムに関する最初の理論的説明を行う。 本研究では,SSMの新たな重み構造を導入し,パラメータの微調整を伴わずに過去の状態を観察した上で,任意の力学系の次の状態を予測できるようにする。 これは、連続SSMが任意の入力信号の微分を近似できることを示すためにHiPPOフレームワークを拡張することで達成される。 具体的には、連続SSMに対する明示的な重み構造を見つけ、微分近似に縛られた漸近誤差を与える。 この連続SSMの離散化は次の状態を予測する離散SSMを生成する。 最後に,パラメータ化の有効性を実証的に示す。 この作業は、SSMに基づくシーケンスモデルがどのように文脈で学習するかを理解するための最初のステップである。

関連論文リスト

• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• Provable Benefits of Complex Parameterizations for Structured State Space Models [51.90574950170374]
  構造化状態空間モデル (Structured State Space Model, SSM) は、指定された構造に固執する線形力学系である。 パラメータ化が現実の典型的なニューラルネットワークモジュールとは対照的に、SSMは複雑なパラメータ化を使用することが多い。 本稿では,実対角 SSM と複素対角 SSM の形式的ギャップを確立することにより,SSM の複雑なパラメータ化の利点を説明する。
  論文  参考訳（メタデータ） (2024-10-17T22:35:50Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• On latent dynamics learning in nonlinear reduced order modeling [0.6249768559720122]
  本稿では,パラメータ化非線形時間依存PDEの次数モデリングのための潜在力学モデル(LDM)の数学的枠組みを提案する。 フルオーダーモデル (FOM) 解の LDM 近似に対する誤差と安定性の推定を導出するために, 時間連続的な設定を用いる。 ディープニューラルネットワークは離散LDM成分を近似し、FOMに関して有界近似誤差を提供する。
  論文  参考訳（メタデータ） (2024-08-27T16:35:06Z)
• Towards a theory of learning dynamics in deep state space models [12.262490032020832]
  状態空間モデル(SSM)は多くの長いシーケンスモデリングタスクにおいて顕著な経験的性能を示した。 この研究は、ディープステート空間モデルにおける動的学習の理論への一歩である。
  論文  参考訳（メタデータ） (2024-07-10T00:01:56Z)
• SMR: State Memory Replay for Long Sequence Modeling [19.755738298836526]
  本稿では並列畳み込み計算における互換性の限界を克服する新しい非再帰的非一様サンプル処理戦略を提案する。 本研究では,学習可能な記憶を利用する状態記憶再生(SMR)を導入し,学習データと異なるサンプリングポイントでの一般化のために,現在の状態を多段階情報で調整する。 自己回帰言語モデリングとLong Range Arenaにおける長距離モデリングタスクの実験は、一連のSSMモデルに対するSMRメカニズムの一般的な効果を実証している。
  論文  参考訳（メタデータ） (2024-05-27T17:53:32Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Theoretical Foundations of Deep Selective State-Space Models [13.971499161967083]
  ディープSSMは、さまざまなドメインセットで優れたパフォーマンスを示す。 最近の研究で、線形リカレンス電力が入力と隠れ状態の間の乗法的相互作用を可能にすることが示されている。 ランダム線形再帰が単純な入力制御遷移を備える場合、隠れ状態は強力な数学的対象の低次元射影であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T11:20:16Z)
• Sampling-Free Probabilistic Deep State-Space Models [28.221200872943825]
  確率論的深部SSMは未知のパラメトリック形式の力学系に一般化する。 このタイプのモデルに対する最初の決定論的推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-15T09:06:23Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
  部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。 我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。 我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-12T17:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。