論文の概要: State-space models can learn in-context by gradient descent

• arxiv url: http://arxiv.org/abs/2410.11687v2
• Date: Tue, 18 Feb 2025 18:55:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:04:59.666519
• Title: State-space models can learn in-context by gradient descent
• Title（参考訳）: 状態空間モデルは勾配降下により文脈内で学習できる
• Authors: Neeraj Mohan Sushma, Yudou Tian, Harshvardhan Mestha, Nicolo Colombo, David Kappel, Anand Subramoney,
• Abstract要約: 状態空間モデルは、勾配に基づく学習を実行し、変換器と全く同じ方法で、文脈内学習に使用することができることを示す。 具体的には、1つの構造化状態空間モデル層が乗算入力と出力ゲーティングで拡張され、暗黙線形モデルの出力を再現できることを証明した。 また、状態空間モデルと線形自己意識の関係と、文脈内で学習する能力に関する新たな知見を提供する。
• 参考スコア（独自算出の注目度）: 1.3087858009942543
• License:
• Abstract: Deep state-space models (Deep SSMs) are becoming popular as effective approaches to model sequence data. They have also been shown to be capable of in-context learning, much like transformers. However, a complete picture of how SSMs might be able to do in-context learning has been missing. In this study, we provide a direct and explicit construction to show that state-space models can perform gradient-based learning and use it for in-context learning in much the same way as transformers. Specifically, we prove that a single structured state-space model layer, augmented with multiplicative input and output gating, can reproduce the outputs of an implicit linear model with least squares loss after one step of gradient descent. We then show a straightforward extension to multi-step linear and non-linear regression tasks. We validate our construction by training randomly initialized augmented SSMs on linear and non-linear regression tasks. The empirically obtained parameters through optimization match the ones predicted analytically by the theoretical construction. Overall, we elucidate the role of input- and output-gating in recurrent architectures as the key inductive biases for enabling the expressive power typical of foundation models. We also provide novel insights into the relationship between state-space models and linear self-attention, and their ability to learn in-context.
• Abstract（参考訳）: 深部状態空間モデル (Deep SSM) は, モデルシーケンスデータに対する効果的なアプローチとして普及している。 また、変換器のように、文脈内での学習も可能であることが示されている。 しかし、SSMがコンテキスト内学習をどのように行うことができるかの完全な写真は見当たらない。 本研究では、状態空間モデルが勾配に基づく学習を実行し、変換器と全く同じ方法で文脈内学習に利用できることを示す、直接的かつ明示的な構成を提供する。 具体的には,1段階の勾配降下後に最小2乗損失を持つ暗黙線形モデルの出力を,乗算入力と出力ゲーティングで拡張した単一構造状態空間モデル層が再現可能であることを証明した。 次に、多段階線形および非線形回帰タスクへの簡単な拡張を示す。 線形および非線形回帰タスクにおいて、ランダムに初期化した拡張SSMを訓練することにより、我々の構成を検証する。 実験によって得られたパラメータは、理論的な構成によって解析的に予測されたパラメータと一致する。 全体として、我々は、基本モデルの典型的な表現力を実現するための重要な帰納バイアスとして、繰り返しアーキテクチャにおける入出力ゲーティングの役割を解明する。 また、状態空間モデルと線形自己意識の関係と、文脈内で学習する能力に関する新たな知見を提供する。

関連論文リスト

• Scaling Law for Stochastic Gradient Descent in Quadratically Parameterized Linear Regression [5.801904710149222]
  機械学習において、スケーリング法則は、モデルとデータサイズをスケールアップすることで、モデルパフォーマンスがどのように改善されるかを記述する。 本稿では,2次パラメータ化モデルを用いた線形回帰のスケーリング法則について検討する。 その結果、正準線形回帰では、特徴学習による一般化と不要な曲線と、パラメトリゼーション法とアルゴリズムに対する情報理論の下界との明確な分離が提供される。
  論文  参考訳（メタデータ） (2025-02-13T09:29:04Z)
• Re-examining learning linear functions in context [1.8843687952462742]
  In-context Learning (ICL) は大規模言語モデル(LLM)を様々なタスクに容易に適応するための強力なパラダイムとして登場した。 合成学習データを用いた制御設定でICLの簡単なモデルについて検討する。 本研究は,線形関数を文脈内で学習するためのアルゴリズム的アプローチをトランスフォーマーが採用する,一般的な物語に挑戦するものである。
  論文  参考訳（メタデータ） (2024-11-18T10:58:46Z)
• Theoretical Foundations of Deep Selective State-Space Models [13.971499161967083]
  ディープSSMは、さまざまなドメインセットで優れたパフォーマンスを示す。 最近の研究で、線形リカレンス電力が入力と隠れ状態の間の乗法的相互作用を可能にすることが示されている。 ランダム線形再帰が単純な入力制御遷移を備える場合、隠れ状態は強力な数学的対象の低次元射影であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T11:20:16Z)
• SIP: Injecting a Structural Inductive Bias into a Seq2Seq Model by Simulation [75.14793516745374]
  本稿では, 構造的帰納バイアスをセック2セックモデルに効率よく注入し, 合成データの構造的変換をシミュレートする方法について述べる。 実験の結果,本手法は所望の帰納バイアスを付与し,FSTのようなタスクに対してより優れた数発学習を実現することがわかった。
  論文  参考訳（メタデータ） (2023-10-01T21:19:12Z)
• Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
  我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。 物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。 本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
  論文  参考訳（メタデータ） (2023-04-25T15:53:45Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Merging Two Cultures: Deep and Statistical Learning [3.15863303008255]
  深層学習と統計的学習の2つの文化を組み合わせることで、構造化された高次元データに対する洞察が得られる。 モデルの出力層における確率的手法を用いて予測,最適化,不確実性を実現できることを示す。
  論文  参考訳（メタデータ） (2021-10-22T02:57:21Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)
• Learning Bijective Feature Maps for Linear ICA [73.85904548374575]
  画像データに適した既存の確率的深層生成モデル (DGM) は, 非線形ICAタスクでは不十分であることを示す。 そこで本研究では,2次元特徴写像と線形ICAモデルを組み合わせることで,高次元データに対する解釈可能な潜在構造を学習するDGMを提案する。 画像上のフローベースモデルや線形ICA、変分オートエンコーダよりも、高速に収束し、訓練が容易なモデルを作成し、教師なしの潜在因子発見を実現する。
  論文  参考訳（メタデータ） (2020-02-18T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。