論文の概要: HOPE for a Robust Parameterization of Long-memory State Space Models
- arxiv url: http://arxiv.org/abs/2405.13975v2
- Date: Wed, 02 Oct 2024 16:56:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:18:17.874325
- Title: HOPE for a Robust Parameterization of Long-memory State Space Models
- Title(参考訳): 長期記憶状態空間モデルのロバストパラメータ化のためのHOPE
- Authors: Annan Yu, Michael W. Mahoney, N. Benjamin Erichson,
- Abstract要約: 線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。
我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。
我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
- 参考スコア(独自算出の注目度): 51.66430224089725
- License:
- Abstract: State-space models (SSMs) that utilize linear, time-invariant (LTI) systems are known for their effectiveness in learning long sequences. To achieve state-of-the-art performance, an SSM often needs a specifically designed initialization, and the training of state matrices is on a logarithmic scale with a very small learning rate. To understand these choices from a unified perspective, we view SSMs through the lens of Hankel operator theory. Building upon it, we develop a new parameterization scheme, called HOPE, for LTI systems that utilizes Markov parameters within Hankel operators. Our approach helps improve the initialization and training stability, leading to a more robust parameterization. We efficiently implement these innovations by nonuniformly sampling the transfer functions of LTI systems, and they require fewer parameters compared to canonical SSMs. When benchmarked against HiPPO-initialized models such as S4 and S4D, an SSM parameterized by Hankel operators demonstrates improved performance on Long-Range Arena (LRA) tasks. Moreover, our new parameterization endows the SSM with non-decaying memory within a fixed time window, which is empirically corroborated by a sequential CIFAR-10 task with padded noise.
- Abstract(参考訳): 線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。
最先端の性能を達成するために、SSMは特別に設計された初期化を必要とし、状態行列のトレーニングは、非常に少ない学習率で対数スケールである。
これらの選択を統一的な視点から理解するために、ハンケル作用素理論のレンズを通してSSMを見る。
そこで我々は,ハンケル作用素内でマルコフパラメータを利用する LTI システムのための新しいパラメータ化手法 HOPE を開発した。
我々の手法は初期化と訓練の安定性の向上に役立ち、より堅牢なパラメータ化をもたらす。
我々は、LTIシステムの転送関数を一様にサンプリングすることで、これらの革新を効率的に実装し、標準SSMと比較してパラメータを少なくする。
S4やS4DのようなHiPPO初期化モデルに対してベンチマークを行うと、ハンケル作用素によってパラメータ化されたSSMがLong-Range Arena(LRA)タスクのパフォーマンス改善を示す。
さらに,このパラメータ化により,SSMに非遅延メモリを固定時間ウィンドウ内に付与する。
関連論文リスト
- Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
本稿では,オンライン回帰目標を最適化するための暗黙の更新に基づく新しい深層SSMアーキテクチャを提案する。
実験の結果,我々のモデルは,標準シーケンスモデリングベンチマークや言語モデリングタスクにおいて,最先端のSSMよりも優れていることがわかった。
論文 参考訳(メタデータ) (2024-07-19T11:12:08Z) - Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。
提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
論文 参考訳(メタデータ) (2024-06-12T12:12:38Z) - SMR: State Memory Replay for Long Sequence Modeling [19.755738298836526]
本稿では並列畳み込み計算における互換性の限界を克服する新しい非再帰的非一様サンプル処理戦略を提案する。
本研究では,学習可能な記憶を利用する状態記憶再生(SMR)を導入し,学習データと異なるサンプリングポイントでの一般化のために,現在の状態を多段階情報で調整する。
自己回帰言語モデリングとLong Range Arenaにおける長距離モデリングタスクの実験は、一連のSSMモデルに対するSMRメカニズムの一般的な効果を実証している。
論文 参考訳(メタデータ) (2024-05-27T17:53:32Z) - Time-SSM: Simplifying and Unifying State Space Models for Time Series Forecasting [22.84798547604491]
状態空間モデル(SSM)は、基底関数の集合を用いて連続系を近似し、それらを離散化して入力データを処理する。
本稿では,SSMを時系列データに適用するためのより直感的で汎用的なガイダンスを提供する,動的スペクトル演算子(Dynamic Spectral Operator)と呼ばれる新しい理論フレームワークを提案する。
パラメータの7分の1しか持たない新しいSSM基盤モデルであるTime-SSMを紹介する。
論文 参考訳(メタデータ) (2024-05-25T17:42:40Z) - Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models [73.48675708831328]
MLLM(Multi-modal Large Language Models)のための新しいパラメータと計算効率のチューニング手法を提案する。
The Efficient Attention Skipping (EAS) method evaluate the attention redundancy and skips the less important MHAs to speed up inference。
実験により、EASは高い性能とパラメータ効率を維持するだけでなく、推論速度を大幅に高速化することが示された。
論文 参考訳(メタデータ) (2024-03-22T14:20:34Z) - Regularization-Based Efficient Continual Learning in Deep State-Space Models [7.709959121230049]
本稿では,大惨事な忘れを伴わずに,進化するタスクに適応できる連続学習DSSMを提案する。
提案するCLDSSMは、正規化に基づく継続学習(CL)手法を統合し、一定の計算とメモリコストで効率的な更新を保証する。
論文 参考訳(メタデータ) (2024-03-15T09:14:18Z) - Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。
従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。
本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
論文 参考訳(メタデータ) (2024-02-18T14:08:48Z) - Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。
常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。
SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文 参考訳(メタデータ) (2023-08-19T08:17:41Z) - Quantum Long Short-Term Memory [3.675884635364471]
LSTM(Long Short-term memory)は、シーケンスおよび時間依存性データモデリングのためのリカレントニューラルネットワーク(RNN)である。
本稿では,QLSTMを疑似化したLSTMのハイブリッド量子古典モデルを提案する。
我々の研究は、ノイズの多い中間スケール量子(NISQ)デバイス上でのシーケンスモデリングのための機械学習アルゴリズムの実装への道を開いた。
論文 参考訳(メタデータ) (2020-09-03T16:41:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。