論文の概要: HiPPO: Recurrent Memory with Optimal Polynomial Projections

• arxiv url: http://arxiv.org/abs/2008.07669v2
• Date: Fri, 23 Oct 2020 02:48:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 03:06:43.862037
• Title: HiPPO: Recurrent Memory with Optimal Polynomial Projections
• Title（参考訳）: HiPPO: 最適多項式投影によるリカレントメモリ
• Authors: Albert Gu, Tri Dao, Stefano Ermon, Atri Rudra, Christopher Re
• Abstract要約: 本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。 過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。 このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
• 参考スコア（独自算出の注目度）: 93.3537706398653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central problem in learning from sequential data is representing cumulative history in an incremental fashion as more data is processed. We introduce a general framework (HiPPO) for the online compression of continuous signals and discrete time series by projection onto polynomial bases. Given a measure that specifies the importance of each time step in the past, HiPPO produces an optimal solution to a natural online function approximation problem. As special cases, our framework yields a short derivation of the recent Legendre Memory Unit (LMU) from first principles, and generalizes the ubiquitous gating mechanism of recurrent neural networks such as GRUs. This formal framework yields a new memory update mechanism (HiPPO-LegS) that scales through time to remember all history, avoiding priors on the timescale. HiPPO-LegS enjoys the theoretical benefits of timescale robustness, fast updates, and bounded gradients. By incorporating the memory dynamics into recurrent neural networks, HiPPO RNNs can empirically capture complex temporal dependencies. On the benchmark permuted MNIST dataset, HiPPO-LegS sets a new state-of-the-art accuracy of 98.3%. Finally, on a novel trajectory classification task testing robustness to out-of-distribution timescales and missing data, HiPPO-LegS outperforms RNN and neural ODE baselines by 25-40% accuracy.
• Abstract（参考訳）: 逐次データからの学習における中心的な問題は、より多くのデータが処理されるにつれて累積履歴を漸進的に表現することである。 連続信号と離散時系列を多項式ベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。 過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。 特殊な場合として、我々のフレームワークは、最近のレジェンダーメモリユニット(LMU)を第一原理から短い導出し、GRUのようなリカレントニューラルネットワークのユビキタスゲーティング機構を一般化する。 このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。 HiPPO-LegSは、時間スケールの堅牢性、高速更新、境界勾配の理論的利点を享受している。 メモリダイナミクスをリカレントニューラルネットワークに組み込むことで、HiPPO RNNは複雑な時間的依存関係を経験的にキャプチャすることができる。 ベンチマークパーミュートされたMNISTデータセットでは、HiPPO-LegSは98.3%の新しい最先端の精度を設定できる。 最後に、分布外時間スケールと欠落データに対する堅牢性をテストする新しいトラジェクトリ分類タスクにおいて、HiPPO-LegSはRNNとニューラルODEベースラインを25～40%精度で上回る。

関連論文リスト

• Recurrent Memory for Online Interdomain Gaussian Processes [18.91108540244912]
  本稿では,オンライン回帰設定における時系列データ中の長期記憶をキャプチャ可能な,新しいオンラインガウスプロセス(GP)モデルを提案する。 我々のモデルである Online HiPPO Sparse Variational Gaussian Process Regression (OHSGPR) は、その長距離メモリモデリング機能によりRNNドメインで普及しているHiPPOフレームワークを活用している。 我々は、HiPPOフレームワークがドメイン間GPフレームワークに自然に適合していることを示し、HiPPOのODE進化に基づく繰り返し形式でカーネル行列をオンラインで更新可能であることを示した。
  論文  参考訳（メタデータ） (2025-02-12T19:18:50Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Cumulative Distribution Function based General Temporal Point Processes [49.758080415846884]
  CuFunモデルは、累積分布関数(CDF)を中心に回転するTPPに対する新しいアプローチを表す 提案手法は従来のTPPモデリングに固有のいくつかの重要な問題に対処する。 コントリビューションには、先駆的なCDFベースのTPPモデルの導入、過去の事象情報を将来の事象予測に組み込む方法論の開発が含まれている。
  論文  参考訳（メタデータ） (2024-02-01T07:21:30Z)
• Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction [13.521272923545409]
  連続学習に基づく非教師付きリカレントスパイキングニューラルネットワークモデル(CLURSNN)を提案する。 CLURSNNは、ランダム遅延埋め込み(Random Delay Embedding)を使用して基盤となる動的システムを再構築することで、オンライン予測を行う。 提案手法は,進化するロレンツ63力学系を予測する際に,最先端のDNNモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-10T16:18:37Z)
• How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer [2.1485350418225244]
  本稿では,ReLUアクティベーションを伴うランダム化した浅層NNの一般化挙動を,正確なマクロ解析により解析する。 RSNは、無限に多くの方向が考慮される一般化加法モデル(GAM)型回帰に対応することを示す。
  論文  参考訳（メタデータ） (2023-03-20T21:05:47Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• Selective Memory Recursive Least Squares: Recast Forgetting into Memory in RBF Neural Network Based Real-Time Learning [2.31120983784623]
  放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。 本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。 SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
  論文  参考訳（メタデータ） (2022-11-15T05:29:58Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Deep Generative model with Hierarchical Latent Factors for Time Series Anomaly Detection [40.21502451136054]
  本研究は、時系列異常検出のための新しい生成モデルであるDGHLを提示する。 トップダウンの畳み込みネットワークは、新しい階層的な潜在空間を時系列ウィンドウにマッピングし、時間ダイナミクスを利用して情報を効率的にエンコードする。 提案手法は,4つのベンチマーク・データセットにおいて,現在の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-02-15T17:19:44Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。