論文の概要: HiPPO-Prophecy: State-Space Models can Provably Learn Dynamical Systems in Context

• arxiv url: http://arxiv.org/abs/2407.09375v2
• Date: Fri, 19 Jul 2024 15:34:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 21:49:14.905377
• Title: HiPPO-Prophecy: State-Space Models can Provably Learn Dynamical Systems in Context
• Title（参考訳）: HiPPO-Prophecy:状態空間モデルはコンテキストで動的システムを学ぶことができる
• Authors: Federico Arangath Joseph, Kilian Konstantin Haefeli, Noah Liniger, Caglar Gulcehre,
• Abstract要約: 本研究では、状態空間モデル(SSM)の文脈内学習能力について検討する。 我々はSSMの新たな重み構造を導入し、任意の力学系の次の状態を予測できるようにした。 我々は、連続SSMが任意の入力信号の微分を近似できることを示すために、HiPPOフレームワークを拡張した。
• 参考スコア（独自算出の注目度）: 0.5416466085090772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work explores the in-context learning capabilities of State Space Models (SSMs) and presents, to the best of our knowledge, the first theoretical explanation of a possible underlying mechanism. We introduce a novel weight construction for SSMs, enabling them to predict the next state of any dynamical system after observing previous states without parameter fine-tuning. This is accomplished by extending the HiPPO framework to demonstrate that continuous SSMs can approximate the derivative of any input signal. Specifically, we find an explicit weight construction for continuous SSMs and provide an asymptotic error bound on the derivative approximation. The discretization of this continuous SSM subsequently yields a discrete SSM that predicts the next state. Finally, we demonstrate the effectiveness of our parameterization empirically. This work should be an initial step toward understanding how sequence models based on SSMs learn in context.
• Abstract（参考訳）: 本研究では、状態空間モデル(SSM)の文脈内学習能力について検討し、その基礎となるメカニズムに関する最初の理論的説明を行う。 本研究では,SSMの新たな重み構造を導入し,パラメータの微調整を伴わずに過去の状態を観察した上で,任意の力学系の次の状態を予測できるようにする。 これは、連続SSMが任意の入力信号の微分を近似できることを示すためにHiPPOフレームワークを拡張することで達成される。 具体的には、連続SSMに対する明示的な重み構造を見つけ、微分近似に縛られた漸近誤差を与える。 この連続SSMの離散化は次の状態を予測する離散SSMを生成する。 最後に,パラメータ化の有効性を実証的に示す。 この作業は、SSMに基づくシーケンスモデルがどのように文脈で学習するかを理解するための最初のステップである。

関連論文リスト

• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  本稿では,オンライン回帰目標を最適化するための暗黙の更新に基づく新しい深層SSMアーキテクチャを提案する。 実験の結果,我々のモデルは,標準シーケンスモデリングベンチマークや言語モデリングタスクにおいて,最先端のSSMよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• Towards a theory of learning dynamics in deep state space models [12.262490032020832]
  状態空間モデル(SSM)は多くの長いシーケンスモデリングタスクにおいて顕著な経験的性能を示した。 この研究は、ディープステート空間モデルにおける動的学習の理論への一歩である。
  論文  参考訳（メタデータ） (2024-07-10T00:01:56Z)
• SMR: State Memory Replay for Long Sequence Modeling [19.755738298836526]
  本稿では並列畳み込み計算における互換性の限界を克服する新しい非再帰的非一様サンプル処理戦略を提案する。 本研究では,学習可能な記憶を利用する状態記憶再生(SMR)を導入し,学習データと異なるサンプリングポイントでの一般化のために,現在の状態を多段階情報で調整する。 自己回帰言語モデリングとLong Range Arenaにおける長距離モデリングタスクの実験は、一連のSSMモデルに対するSMRメカニズムの一般的な効果を実証している。
  論文  参考訳（メタデータ） (2024-05-27T17:53:32Z)
• Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting [22.84798547604491]
  状態空間モデル(SSM)は、基底関数の集合を用いて連続系を近似し、それらを離散化して入力データを処理する。 本稿では,SSMを時系列データに適用するためのより直感的で汎用的なガイダンスを提供する,動的スペクトル演算子(Dynamic Spectral Operator)と呼ばれる新しい理論フレームワークを提案する。 パラメータの7分の1しか持たない新しいSSM基盤モデルであるTime-SSMを紹介する。
  論文  参考訳（メタデータ） (2024-05-25T17:42:40Z)
• Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
  本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。 ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。 このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
  論文  参考訳（メタデータ） (2024-05-24T17:19:57Z)
• There is HOPE to Avoid HiPPOs for Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々のモデルは、LTIシステムの転送関数を一様にサンプリングすることで、これらの革新を効率的に実装する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Theoretical Foundations of Deep Selective State-Space Models [14.989266348816749]
  ディープSSMは、さまざまなドメインセットで優れたパフォーマンスを示す。 最近の研究で、線形リカレンス電力が入力と隠れ状態の間の乗法的相互作用を可能にすることが示されている。 ランダム線形再帰が単純な入力制御遷移を備える場合、隠れ状態は強力な数学的対象の低次元射影であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T11:20:16Z)
• Sampling-Free Probabilistic Deep State-Space Models [28.221200872943825]
  確率論的深部SSMは未知のパラメトリック形式の力学系に一般化する。 このタイプのモデルに対する最初の決定論的推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-15T09:06:23Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
  部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。 我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。 我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-12T17:57:17Z)
• Likelihood-Free Inference in State-Space Models with Unknown Dynamics [71.94716503075645]
  本研究では、状態空間モデルにおいて、観測をシミュレートすることしかできず、遷移ダイナミクスが不明な潜在状態の推測と予測を行う手法を提案する。 本研究では,限られた数のシミュレーションで状態予測と状態予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T12:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。