論文の概要: Uncovering the Spectral Bias in Diagonal State Space Models

• arxiv url: http://arxiv.org/abs/2508.20441v1
• Date: Thu, 28 Aug 2025 05:39:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.042805
• Title: Uncovering the Spectral Bias in Diagonal State Space Models
• Title（参考訳）: 対角状態空間モデルにおけるスペクトルバイアスの発見
• Authors: Ruben Solozabal, Velibor Bojkovic, Hilal AlQuabeh, Kentaro Inui, Martin Takáč,
• Abstract要約: 対角的な代替手段は、カーネルの単純化により、非常に効率的でありながら、同様のレベルの性能に達することが示されている。 我々の研究は、これらのモデルをパラメータ化する方法を体系的に理解し、このような対角状態空間モデルに固有の学習バイアスを明らかにすることを目指している。
• 参考スコア（独自算出の注目度）: 25.245607786730954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current methods for initializing state space models (SSMs) parameters mainly rely on the \textit{HiPPO framework}, which is based on an online approximation of orthogonal polynomials. Recently, diagonal alternatives have shown to reach a similar level of performance while being significantly more efficient due to the simplification in the kernel computation. However, the \textit{HiPPO framework} does not explicitly study the role of its diagonal variants. In this paper, we take a further step to investigate the role of diagonal SSM initialization schemes from the frequency perspective. Our work seeks to systematically understand how to parameterize these models and uncover the learning biases inherent in such diagonal state-space models. Based on our observations, we propose a diagonal initialization on the discrete Fourier domain \textit{S4D-DFouT}. The insights in the role of pole placing in the initialization enable us to further scale them and achieve state-of-the-art results on the Long Range Arena benchmark, allowing us to train from scratch on very large datasets as PathX-256.
• Abstract（参考訳）: 状態空間モデル(SSM)のパラメータを初期化する現在の手法は、直交多項式のオンライン近似に基づいて、主に \textit{HiPPO framework} に依存している。 近年, カーネル計算の単純化により, 対角方向の代替手法は性能がほぼ同等に向上し, 性能も大幅に向上した。 しかし、textit{HiPPO framework} は、その対角多様体の役割を明示的に研究していない。 本稿では,周波数の観点から,対角的SSM初期化スキームの役割について検討する。 我々の研究は、これらのモデルをパラメータ化する方法を体系的に理解し、このような対角状態空間モデルに固有の学習バイアスを明らかにすることを目指している。 そこで本研究では,離散フーリエ領域の対角初期化を提案する。 初期化における極配置の役割に関する洞察により、さらにスケールし、Long Range Arenaベンチマークで最先端の結果を達成することができ、PathX-256のような非常に大きなデータセットでスクラッチからトレーニングすることが可能になります。

関連論文リスト

• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• Learning Bijective Surface Parameterization for Inferring Signed Distance Functions from Sparse Point Clouds with Grid Deformation [50.26314343851213]
  疎点雲から符号付き距離関数(SDF)を推定することは、表面再構成の課題である。 本稿では,SDFをエンドツーエンドに予測するために動的変形ネットワークを学習する新しい手法を提案する。 合成および実スキャンデータを用いた実験結果から,本手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-31T02:27:02Z)
• $\ell_0$-Regularized Quadratic Surface Support Vector Machines [0.0]
  カーネルフリーの二次曲面支持ベクトルマシンは、カーネル関数に依存することなく非線形決定境界をモデル化する柔軟性により、近年注目を集めている。 本稿では,モデルパラメータに濃度制約を課すことにより,QSVMのスパース変種を提案する。 我々は,いくつかの実世界のデータセットに対するアプローチを検証し,高い分類性能を維持しながらオーバーフィッティングを低減できることを実証した。
  論文  参考訳（メタデータ） (2025-01-20T04:26:34Z)
• Inference in Randomized Least Squares and PCA via Normality of Quadratic Forms [19.616162116973637]
  ランダムなスケッチや投影による統計的推測のための統一手法を開発した。 この手法は固定データセット(すなわちデータ条件)に適用され、ランダム性だけがランダム化アルゴリズムによるものである。
  論文  参考訳（メタデータ） (2024-04-01T04:35:44Z)
• Generative Modeling with Phase Stochastic Bridges [49.4474628881673]
  拡散モデル(DM)は、連続入力のための最先端の生成モデルを表す。 我々はtextbfphase space dynamics に基づく新しい生成モデリングフレームワークを提案する。 我々のフレームワークは、動的伝播の初期段階において、現実的なデータポイントを生成する能力を示す。
  論文  参考訳（メタデータ） (2023-10-11T18:38:28Z)
• Robustifying State-space Models for Long Sequences via Approximate Diagonalization [47.321212977509454]
  状態空間モデル(SSM)は、長距離シーケンスタスクを学習するためのフレームワークとして登場した。 HiPPOフレームワークの対角化は、それ自体が不適切な問題である。 本稿では,汎用的,後方安定な「摂動対角化(PTD)」手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T23:36:13Z)
• On the Parameterization and Initialization of Diagonal State Space Models [35.68370606343843]
  対角状態空間モデルのパラメータ化と初期化について述べる。 S4の行列の対角制限は、無限状態次元の極限において、驚くほど同じカーネルを回復することを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:58:39Z)
• Kernel-based estimation for partially functional linear model: Minimax rates and randomized sketches [12.799283644502882]
  本稿では,機能的共変量と高次元スカラーベクトルからなる部分関数線形モデル(PFLM)について考察する。 無限次元再生核ヒルベルト空間上で、提案されたPFLMの推定は、関数ノルムと$ell_$-ノルムの2つの混合正規化を持つ最小二乗アプローチである。
  論文  参考訳（メタデータ） (2021-10-18T06:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。