論文の概要: HiPPO Zoo: Explicit Memory Mechanisms for Interpretable State Space Models

• arxiv url: http://arxiv.org/abs/2602.21340v1
• Date: Tue, 24 Feb 2026 20:16:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.594443
• Title: HiPPO Zoo: Explicit Memory Mechanisms for Interpretable State Space Models
• Title（参考訳）: HiPPO Zoo: 解釈可能な状態空間モデルのための明示的なメモリメカニズム
• Authors: Jack Goffinet, Casey Hanks, David E. Carlson,
• Abstract要約: 歴史の表現を暗黙的にすることを目的として、HiPPOフレームワークを再考する。 このような5つの拡張からなる統一的なフレームワークを導入し、これをまとめて「HiPPO Zo」と呼ぶ。
• 参考スコア（独自算出の注目度）: 1.4018975578160686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representing the past in a compressed, efficient, and informative manner is a central problem for systems trained on sequential data. The HiPPO framework, originally proposed by Gu & Dao et al., provides a principled approach to sequential compression by projecting signals onto orthogonal polynomial (OP) bases via structured linear ordinary differential equations. Subsequent works have embedded these dynamics in state space models (SSMs), where HiPPO structure serves as an initialization. Nonlinear successors of these SSM methods such as Mamba are state-of-the-art for many tasks with long-range dependencies, but the mechanisms by which they represent and prioritize history remain largely implicit. In this work, we revisit the HiPPO framework with the goal of making these mechanisms explicit. We show how polynomial representations of history can be extended to support capabilities of modern SSMs such as adaptive allocation of memory and associative memory while retaining direct interpretability in the OP basis. We introduce a unified framework comprising five such extensions, which we collectively refer to as a "HiPPO zoo." Each extension exposes a specific modeling capability through an explicit, interpretable modification of the HiPPO framework. The resulting models adapt their memory online and train in streaming settings with efficient updates. We illustrate the behaviors and modeling advantages of these extensions through a range of synthetic sequence modeling tasks, demonstrating that capabilities typically associated with modern SSMs can be realized through explicit, interpretable polynomial memory structures.
• Abstract（参考訳）: 過去を圧縮、効率的、情報的方法で表現することは、逐次データに基づいて訓練されたシステムにとって重要な問題である。 HiPPOフレームワークは、元々Gu & Daoらによって提案され、構造化線形常微分方程式を介して直交多項式(OP)基底に信号を投影することで、逐次圧縮に原則化されたアプローチを提供する。 その後の研究は状態空間モデル(SSM)にこれらのダイナミクスを組み込んでおり、そこではHiPPO構造が初期化として機能する。 マンバのようなこれらのSSMメソッドの非線形継承は、長距離依存を持つ多くのタスクに対して最先端の手法であるが、それらが歴史を表現し優先順位付けするメカニズムは暗黙的のままである。 本稿では、これらのメカニズムを明確にすることを目的として、HiPPOフレームワークを再考する。 本稿では,メモリのアダプティブアロケーションや連想メモリなどの現代のSSMの機能をサポートするために,OPベースでの直接解釈可能性を維持しつつ,歴史の多項式表現をどのように拡張するかを示す。 5つの拡張からなる統一的なフレームワークを導入し、これを総称して「HiPPO動物園」と呼ぶ。 各拡張は、HiPPOフレームワークの明示的で解釈可能な修正を通じて、特定のモデリング機能を公開する。 結果として得られたモデルは、メモリをオンラインで調整し、効率的な更新でストリーミング設定でトレーニングする。 本稿では、これらの拡張の振る舞いとモデリングの利点を、一連の合成シーケンスモデリングタスクを通して説明し、明示的で解釈可能な多項式メモリ構造によって、現代のSSMに典型的に関連付けられた能力が実現可能であることを示す。

関連論文リスト

• Lag Operator SSMs: A Geometric Framework for Structured State Space Modeling [3.3864018929063477]
  柔軟かつモジュール化された離散時間構造化状態空間モデル(SSM)を構築するためのフレームワークを導入する。 提案手法は,システムの基本機能「すべり」を測定することにより,離散時間再発を幾何学的に導出する新しいラグ演算子に基づく。
  論文  参考訳（メタデータ） (2025-12-22T02:25:26Z)
• SaFARi: State-Space Models for Frame-Agnostic Representation [22.697360024988484]
  State-Space Models (SSM) は、オンライン機能のための強力なツールとして再登場し、長距離依存データのための機械学習モデルのバックボーンとなった。 本稿では,SSMをフレームやベースで構築する手法について述べる。 このフレームワークは、HiPPOとして知られるアプローチを包含するが、SSMアーキテクチャ内の他の可能な「種」の無限の多様性も許容する。
  論文  参考訳（メタデータ） (2025-05-13T21:39:40Z)
• Recurrent Memory for Online Interdomain Gaussian Processes [14.986242786275183]
  本稿では,オンライン学習環境における時系列データ中の長期記憶をキャプチャ可能な,新しいオンラインガウスプロセス(GP)モデルを提案する。 我々のモデルである Online HiPPO Sparse Variational Gaussian Process (OHSVGP) は、その長距離メモリモデリング機能によりRNNドメインで普及しているHiPPOフレームワークを活用している。
  論文  参考訳（メタデータ） (2025-02-12T19:18:50Z)
• Enhanced Structured State Space Models via Grouped FIR Filtering and Attention Sink Mechanisms [0.6718184400443239]
  本稿では,A-乗算を複数のグループに分解することで課題を軽減する高度なアーキテクチャを提案する。 ストリーミング言語モデルで特定される「アテンションシンク」現象にインスパイアされ、モデルの安定性と性能を高めるための同様のメカニズムを組み込んだ。
  論文  参考訳（メタデータ） (2024-08-01T02:49:58Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
  部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。 我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。 我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-12T17:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。