論文の概要: Aligning Inductive Bias for Data-Efficient Generalization in State Space Models

• arxiv url: http://arxiv.org/abs/2509.20789v2
• Date: Fri, 26 Sep 2025 05:57:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 12:12:20.348979
• Title: Aligning Inductive Bias for Data-Efficient Generalization in State Space Models
• Title（参考訳）: 状態空間モデルにおけるデータ効率の良い一般化のための誘導バイアスの調整
• Authors: Qiyu Chen, Guozhang Chen,
• Abstract要約: モデリングにおける次のフロンティアの1つは、データ効率である。 この問題を解決するための原則的枠組みを導入する。 本稿では,タスク依存初期化(TDI: Task-Dependent Initialization: タスク依存初期化)手法を提案する。
• 参考スコア（独自算出の注目度）: 3.9891133943171546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable success of large-scale models is fundamentally tied to scaling laws, yet the finite nature of high-quality data presents a looming challenge. One of the next frontiers in modeling is data efficiency: the ability to learn more from less. A model's inductive bias is a critical lever for this, but foundational sequence models like State Space Models (SSMs) rely on a fixed bias. This fixed prior is sample-inefficient when a task's underlying structure does not match. In this work, we introduce a principled framework to solve this problem. We first formalize the inductive bias of linear time-invariant SSMs through an SSM-induced kernel, mathematically and empirically proving its spectrum is directly governed by the model's frequency response. Further, we propose a method of Task-Dependent Initialization (TDI): power spectrum matching, a fast and efficient method that aligns the model's inductive bias with the task's spectral characteristics before large-scale training. Our experiments on a diverse set of real-world benchmarks show that TDI significantly improves generalization and sample efficiency, particularly in low-data regimes. This work provides a theoretical and practical tool to create more data-efficient models, a crucial step towards sustainable scaling.
• Abstract（参考訳）: 大規模モデルの顕著な成功は、基本的にはスケーリング法則に結びついているが、高品質なデータの有限な性質は、悲惨な課題である。 モデリングにおける次のフロンティアの1つは、データ効率である。 モデルの帰納バイアスは、このために重要なレバーであるが、ステートスペースモデル(SSM)のような基礎的なシーケンスモデルは、固定バイアスに依存している。 この固定された事前は、タスクの基盤構造が一致しない場合、サンプリング非効率である。 本稿では,この問題を解決するための原則的枠組みを紹介する。 まず、線形時間不変SSMの帰納バイアスをSSM誘起カーネルで定式化し、そのスペクトルがモデルの周波数応答によって直接支配されていることを数学的かつ経験的に証明する。 さらに,タスク依存初期化(TDI: Task-Dependent Initialization)手法を提案する。大規模なトレーニングの前に,モデルの帰納バイアスとタスクのスペクトル特性を一致させる高速かつ効率的な手法である。 実世界の多種多様なベンチマーク実験により、TDIは一般化とサンプル効率、特に低データレシエーションにおいて著しく向上することが示された。 この作業は、よりデータ効率のよいモデルを作成するための理論的で実践的なツールを提供する。

関連論文リスト

• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
  モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。 クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
  論文  参考訳（メタデータ） (2023-10-04T07:14:43Z)
• SLEM: Machine Learning for Path Modeling and Causal Inference with Super Learner Equation Modeling [3.988614978933934]
  因果推論は科学の重要な目標であり、研究者は観測データを使って意味のある結論に達することができる。 経路モデル、構造方程式モデル(SEM)および指向非巡回グラフ(DAG)は、現象の根底にある因果構造に関する仮定を明確に特定する手段を提供する。 本稿では,機械学習のスーパーラーナーアンサンブルを統合したパスモデリング手法であるSuper Learner Equation Modelingを提案する。
  論文  参考訳（メタデータ） (2023-08-08T16:04:42Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。