論文の概要: Symmetry in Time: A Representation Theory of Linear Recurrent Memory
- arxiv url: http://arxiv.org/abs/2611.17162v1
- Date: Thu, 12 Nov 2026 17:39:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.573795
- Title: Symmetry in Time: A Representation Theory of Linear Recurrent Memory
- Title(参考訳): 時間の対称性:リニアリカレントメモリの表現理論
- Abstract要約: 状態空間モデル(SSM)はトランスフォーマーの新たな代替品である。
我々はこれを表現論で定式化し、SSMで以前に報告された状態追跡障害を説明・修正する。
次に、線形時間推論と並列トレーニングを維持しながら、四元チャネルを追加するHyperSSMを導入する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State space models (SSMs) are an emerging alternative to Transformers. SSMs offer linear-time inference and parallel training, but most implementations make the parallel scan efficient by making the recurrence diagonal: each channel of the hidden state is multiplied by an input-dependent real or complex number. These numbers commute, so the state records which inputs occurred but not their order. We formalize this with representation theory, which explains and fixes the state-tracking failures previously reported for SSMs. The state update defines a linear representation of the monoid of input sequences, and we show that an SSM tracks a group at every sequence length exactly when that group is a quotient of the group generated by its transition matrices. Two consequences follow. Diagonal real- and complex-valued SSMs can track only commutative groups, while the transition matrices of any SSM that can track a group must split into independent blocks over the real, complex, and quaternion numbers. We then introduce HyperSSM, which adds quaternion channels while keeping linear-time inference and parallel training. Trained only on final answers, HyperSSM solves the group tasks of recent state-tracking benchmarks exactly with at most five state numbers. This includes $S_5$ with 32 generators, where previous SSMs are at chance, and HyperSSM generalizes to sequences 25 times longer than those seen in training. Because the theory says what the transitions must encode, the learned weights of the linear recurrence can be interpreted directly. We demonstrate this by recovering the calibration of a real gyroscope, the rotations of imperfect qubit gates and the geometry of protein backbones.
- Abstract(参考訳): 状態空間モデル(SSM)はトランスフォーマーの新たな代替品である。
SSMは線形時間推論と並列トレーニングを提供するが、ほとんどの実装は並列スキャンを効率よくし、隠れた状態の各チャネルは入力依存の実数または複素数で乗算される。
これらの数字は通勤するので、入力された状態の記録は発生したが命令は発生しない。
我々はこれを表現論で定式化し、SSMで以前に報告された状態追跡障害を説明・修正する。
状態更新は入力列のモノイドの線形表現を定義し、SSMはその群がその遷移行列によって生成される群の商である場合に、その群を各列長で追跡することを示す。
2つの結果が続く。
対角的な実数および複素値を持つSSMは可換群のみを追跡することができ、一方、群を追跡することのできる任意のSSMの遷移行列は、実数、複素数、四元数上の独立したブロックに分割されなければならない。
次に、線形時間推論と並列トレーニングを維持しながら、四元チャネルを追加するHyperSSMを導入する。
最終回答のみに基づいてトレーニングされたHyperSSMは、最新のステートトラッキングベンチマークのグループのタスクを、少なくとも5つのステート番号で正確に解決する。
これには32のジェネレータを持つS_5$が含まれており、前回のSSMは偶然に発生し、HyperSSMはトレーニングで見られるものよりも25倍長いシーケンスに一般化される。
この理論は遷移がエンコードしなければならないことを記述しているため、線形反復の学習された重みを直接解釈することができる。
本研究では、実際のジャイロスコープの校正、不完全なクビットゲートの回転、タンパク質のバックボーンの形状を復元することによってこれを実証する。
関連論文リスト
- Riccati State Space Models: Non-iterative Parallelization for Nonlinear Sequence Modeling [50.994194925685434]
状態空間モデル(SSM)は、アフィン状態の更新が合成の下でクローズされるため、効率的なシーケンス処理を実現する。
リカレントモデルはよりリッチで状態依存のダイナミクスを提供するが、一般的にこの構成構造を失う。
我々は、状態依存の非線形力学は正確に構成可能なままに設計できるのかと問う。
非線形SSMである RiccatiSSM を導入し、各状態は入力条件付き Riccati 微分方程式に従う。
論文 参考訳(メタデータ) (2026-09-28T15:40:55Z) - Parallel Recursive LSTM [26.883902799977964]
並列再帰型LSTM(Parallel Recursive LSTM)は,左から右への再帰を平衡計算木上の非線形状態合成に置き換える階層的再帰型アーキテクチャである。
PR-LSTMは、標準RNN、LSTM、Transformerベースラインよりも多くのタスクを解決し、注意の2次スケーリングを避けながら、フォーマルなベンチマーク上で強力なシーケンス長の一般化を実現する。
論文 参考訳(メタデータ) (2026-05-16T18:28:59Z) - Looped SSMs: Depth-Recurrence and Input Reshaping for Time Series Classification [50.994194925685434]
パラメータが$k$のループSSMが$L$倍に反復され、標準SSMと一貫して一致し、性能が良くなることを示す。
また、入力再フォーマットは等しく無視された設計軸であることを示す。
論文 参考訳(メタデータ) (2026-05-15T15:18:12Z) - Structured Sparse Transition Matrices to Enable State Tracking in State-Space Models [68.31088463716269]
状態空間モデル(SSM)における遷移行列の構造的スパースパラメトリゼーションを提案する。
我々の方法PD-SSMは、遷移行列をカラム1ホット行列(P$)と複素数値対角行列(D$)の積としてパラメータ化する。
このモデルは、様々なFSA状態追跡タスクにおいて、現代のSSMの多種多様なバリエーションを著しく上回っている。
論文 参考訳(メタデータ) (2025-09-26T12:46:30Z) - Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。
ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。
LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
論文 参考訳(メタデータ) (2025-05-27T20:02:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。