論文の概要: Elastic Spectral State Space Models for Budgeted Inference

• arxiv url: http://arxiv.org/abs/2601.22488v1
• Date: Fri, 30 Jan 2026 02:58:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.180876
• Title: Elastic Spectral State Space Models for Budgeted Inference
• Title（参考訳）: 予算推論のための弾性スペクトル状態空間モデル
• Authors: Dachuan Song, Xuan Wang,
• Abstract要約: ファンデーションモデルは一般的に、固定された計算能力でトレーニングされるが、現実のアプリケーションは異なるリソース制約を持つプラットフォームにデプロイする必要がある。 本研究では,フル能力で1回のトレーニングしか必要としないElastic Spectral State Space Model (ES-SSM)を提案する。 本研究では,1回トレーニングしたES-SSMモデルに対して,現代的なTransformerとSSMのベースラインを同様のパラメータスケールで比較して,競合性能を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 6.579320299248572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models are typically trained at a fixed computational capacity, while real-world applications require deployment across platforms with different resource constraints. Current approaches usually rely on training families of model variants or model distillation, which requires additional training and supports only a pre-selected set of sizes rather than fine-grained adaptation at runtime. In this paper, we propose Elastic Spectral State Space Models (ES-SSM), which require only one-time training at full capacity, but can be directly truncated into arbitrary scales for budgeted, runtime inference without retraining. Our ES-SSM builds on Hankel spectral filtering over a state space model (SSM), coupled with a lightweight input-adaptive gate trained under randomized spectral budgets. Using a shared masked normalization rule over the ordered spectral channels, we encourage predictive capability to concentrate in low-index components, while higher-index components act primarily as refinement. We test our algorithm across long-sequence benchmarks spanning text, logic, retrieval, vision, and audio. We demonstrate that a single ES-SSM model trained once can be truncated to provide competitive performance compared with modern Transformer and SSM baselines at similar parameter scales. Furthermore, by testing under various runtime budgets, we observe smooth and stable budget-performance curves over a wide range of truncation levels.
• Abstract（参考訳）: ファンデーションモデルは一般的に、固定された計算能力でトレーニングされるが、現実のアプリケーションは異なるリソース制約を持つプラットフォームにデプロイする必要がある。 現在のアプローチは通常、モデル変種またはモデル蒸留の訓練ファミリに依存しており、追加のトレーニングを必要とし、実行時にきめ細かい適応ではなく、事前に選択されたサイズのセットのみをサポートする。 本稿では,フル能力で1回のトレーニングしか必要としない弾性スペクトル状態空間モデル(ES-SSM)を提案する。 我々のES-SSMは、状態空間モデル(SSM)上のハンケルスペクトルフィルタリングに基づいており、ランダム化されたスペクトル予算の下で訓練された軽量な入力適応ゲートと組み合わせている。 順序付きスペクトルチャネル上での共有マスク正規化規則を用いて、高次元成分が主に精細化として機能するのに対して、低次元成分に集中する予測能力を奨励する。 我々は,テキスト,論理,検索,視覚,オーディオにまたがる長期ベンチマークでアルゴリズムを検証した。 本研究では,1回トレーニングしたES-SSMモデルに対して,現代的なTransformerとSSMのベースラインを同様のパラメータスケールで比較して,競合性能を実現することができることを示す。 さらに,様々なランタイム予算の下での試験により,幅広いトラルニケートレベルのスムーズかつ安定な予算性能曲線を観察する。

関連論文リスト

• Towards a Principled Muon under $μ\mathsf{P}$: Ensuring Spectral Conditions throughout Training [0.0]
  我々は,大規模言語モデル(LLM)訓練において,$Pが要求するスペクトル条件を確実に保証する方法を示す。 トレーニングプロセスを通じてスペクトル条件を満たすMuon++の変種を開発する。
  論文  参考訳（メタデータ） (2026-01-04T00:04:05Z)
• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。