論文の概要: Parity Requires Unified Input Dependence and Negative Eigenvalues in SSMs
- arxiv url: http://arxiv.org/abs/2508.07395v1
- Date: Sun, 10 Aug 2025 15:49:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.838634
- Title: Parity Requires Unified Input Dependence and Negative Eigenvalues in SSMs
- Title（参考訳）: パリティはSSMにおける統一入力依存と負の固有値を必要とする
- Authors: Behnoush Khavari, Mehran Shakerinava, Jayesh Khullar, Jerry Huang, François Rivest, Siamak Ravanbakhsh, Sarath Chandar,
- Abstract要約: 入力に依存しないSSMと非負のSSMを組み合わせることで、深さに関わらずパリティのような単純な状態追跡タスクを解くことができるかどうかを検討する。
実験では,S4D層とMamba層を組み合わせたSSMモデルを解析することにより,この結論を支持した。
- 参考スコア（独自算出の注目度）: 24.139438264302882
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work has shown that LRNN models such as S4D, Mamba, and DeltaNet lack state-tracking capability due to either time-invariant transition matrices or restricted eigenvalue ranges. To address this, input-dependent transition matrices, particularly those that are complex or non-triangular, have been proposed to enhance SSM performance on such tasks. While existing theorems demonstrate that both input-independent and non-negative SSMs are incapable of solving simple state-tracking tasks, such as parity, regardless of depth, they do not explore whether combining these two types in a multilayer SSM could help. We investigate this question for efficient SSMs with diagonal transition matrices and show that such combinations still fail to solve parity. This implies that a recurrence layer must both be input-dependent and include negative eigenvalues. Our experiments support this conclusion by analyzing an SSM model that combines S4D and Mamba layers.
- Abstract（参考訳）: 近年の研究では、S4D、Mamba、DeltaNetなどのLRNNモデルでは、時間不変遷移行列や制限固有値範囲によって状態追跡機能が欠如していることが示されている。
これを解決するために、入力依存遷移行列、特に複素あるいは非三角形の行列は、そのようなタスクにおけるSSM性能を高めるために提案されている。
既存の定理では、入力非依存のSSMと非負のSSMは、深さに関係なくパリティのような単純な状態追跡タスクを解くことができないが、これらの2つのタイプを多層SSMに組み合わせることが役立つかどうかを探索しない。
本稿では, 対角遷移行列を用いた効率的なSSMの解法について検討し, このような組み合わせが依然としてパリティを解けないことを示す。
これは、繰り返し層は入力依存であり、負の固有値を含む必要があることを意味する。
実験では,S4D層とMamba層を組み合わせたSSMモデルを解析することにより,この結論を支持した。
関連論文リスト
- Benchmarking Multi-modal Semantic Segmentation under Sensor Failures: Missing and Noisy Modality Robustness [61.87055159919641]
マルチモーダルセマンティックセグメンテーション(MMSS)は、モーダル間で補完情報を統合することで、単一モーダルデータの制限に対処する。
顕著な進歩にもかかわらず、マルチモーダルデータ品質の変動と不確実性により、研究と実世界の展開の間に大きなギャップが持続する。
Intire-Missing Modality (EMM)、Random-Missing Modality (RMM)、Noisy Modality (NM)の3つのシナリオでMMSSモデルを評価する頑健性ベンチマークを導入する。
論文 参考訳（メタデータ） (2025-03-24T08:46:52Z) - Understanding and Mitigating Bottlenecks of State Space Models through the Lens of Recency and Over-smoothing [56.66469232740998]
構造化状態空間モデル (Structured State Space Models, SSMs) は, 強い相対バイアスによって本質的に制限されていることを示す。
このバイアスにより、モデルが遠方の情報を思い出す能力が損なわれ、堅牢性の問題がもたらされる。
本研究では, 状態遷移行列の2つのチャネルをSSMで分極し, それぞれ0と1に設定し, 電流バイアスと過平滑化に同時に対処することを提案する。
論文 参考訳（メタデータ） (2024-12-31T22:06:39Z) - Provable Benefits of Complex Parameterizations for Structured State Space Models [51.90574950170374]
構造化状態空間モデル (Structured State Space Model, SSM) は、指定された構造に固執する線形力学系である。
パラメータ化が現実の典型的なニューラルネットワークモジュールとは対照的に、SSMは複雑なパラメータ化を使用することが多い。
本稿では,実対角 SSM と複素対角 SSM の形式的ギャップを確立することにより,SSM の複雑なパラメータ化の利点を説明する。
論文 参考訳（メタデータ） (2024-10-17T22:35:50Z) - State Space Models are Provably Comparable to Transformers in Dynamic Token Selection [41.617269918948686]
状態空間モデル(SSM)に基づくディープニューラルネットワークは、シーケンスモデリングにおいて大きな注目を集めている。
SSMは入力に応じて重要なトークンを抽出する際にトランスフォーマーに匹敵することを示す。
論文 参考訳（メタデータ） (2024-05-29T12:23:48Z) - SMR: State Memory Replay for Long Sequence Modeling [19.755738298836526]
本稿では並列畳み込み計算における互換性の限界を克服する新しい非再帰的非一様サンプル処理戦略を提案する。
本研究では,学習可能な記憶を利用する状態記憶再生(SMR)を導入し,学習データと異なるサンプリングポイントでの一般化のために,現在の状態を多段階情報で調整する。
自己回帰言語モデリングとLong Range Arenaにおける長距離モデリングタスクの実験は、一連のSSMモデルに対するSMRメカニズムの一般的な効果を実証している。
論文 参考訳（メタデータ） (2024-05-27T17:53:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。