論文の概要: Flash STU: Fast Spectral Transform Units
- arxiv url: http://arxiv.org/abs/2409.10489v4
- Date: Mon, 07 Apr 2025 22:47:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-09 13:27:06.096375
- Title: Flash STU: Fast Spectral Transform Units
- Title（参考訳）: Flash STU:高速スペクトル変換ユニット
- Authors: Y. Isabel Liu, Windsor Nguyen, Yagiz Devre, Evan Dogariu, Anirudha Majumdar, Elad Hazan,
- Abstract要約: Flash STUは、スライディングウインドウの注意を伴うスペクトル状態空間モデル層をインターリーブするハイブリッドモデルである。
我々は, 線形力学系, ロボット制御, 言語モデリングなど, 様々なシーケンス予測タスクにおけるFlash STUとその変種の評価を行った。
- 参考スコア（独自算出の注目度）: 19.889367504937177
- License:
- Abstract: Recent advances in state-space model architectures have shown great promise for efficient sequence modeling, but challenges remain in balancing computational efficiency with model expressiveness. We propose the Flash STU architecture, a hybrid model that interleaves spectral state space model layers with sliding window attention, enabling scalability to billions of parameters for language modeling while maintaining a near-linear time complexity. We evaluate the Flash STU and its variants on diverse sequence prediction tasks, including linear dynamical systems, robotics control, and language modeling. We find that, given a fixed parameter budget, the Flash STU architecture consistently outperforms the Transformer and other leading state-space models such as S4 and Mamba-2.
- Abstract（参考訳）: 状態空間モデルアーキテクチャの最近の進歩は、効率的なシーケンスモデリングに大いに期待されているが、計算効率とモデル表現性とのバランスは依然として課題である。
本稿では,スペクトル状態空間モデル層をスライディングウインドウの注意でインターリーブするハイブリッドモデルであるFlash STUアーキテクチャを提案する。
我々は, 線形力学系, ロボット制御, 言語モデリングなど, 様々なシーケンス予測タスクにおけるFlash STUとその変種の評価を行った。
固定パラメータの予算を考えると、Flash STUアーキテクチャはトランスフォーマーやS4やMamba-2のような他の主要な状態空間モデルよりも一貫して優れています。
関連論文リスト
- Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。
提案手法を拡張・結合する新しい手法を提案し,検討する。
論文 参考訳（メタデータ） (2024-02-01T19:47:31Z) - Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling [10.246977481606427]
ドット積自己注意などのトランスフォーマーの異なる成分が表現力に影響を及ぼすメカニズムについて検討する。
本研究では,トランスフォーマーにおける臨界パラメータの役割を明らかにする。
論文 参考訳（メタデータ） (2024-02-01T11:43:13Z) - Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。
CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。
多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
論文 参考訳（メタデータ） (2023-08-13T06:12:00Z) - Foundation Transformers [105.06915886136524]
我々は、真の汎用モデリングのためのファンデーショントランスフォーマーの開発を求めている。
本研究では,その目的を達成するための変圧器の変種であるマグニートーを導入する。
論文 参考訳（メタデータ） (2022-10-12T17:16:27Z) - Redesigning the Transformer Architecture with Insights from
Multi-particle Dynamical Systems [32.86421107987556]
我々は,従来の微分方程式の数値解法として,ディープニューラルネットワークを解析する最近の発展の上に構築する。
時間的進化計画であるTransEvolveを定式化し、複数の積層層にコストのかかるドット積の注意をバイパスする。
我々は、よく知られたエンコーダデコーダとエンコーダのみのタスクでTransEvolveで徹底的な実験を行う。
論文 参考訳（メタデータ） (2021-09-30T14:01:06Z) - IOT: Instance-wise Layer Reordering for Transformer Structures [173.39918590438245]
トランスフォーマの固定層順序の仮定を分解し,モデル構造にインスタンス単位の層順序変更を導入する。
当社の手法はTransformer以外のアーキテクチャにも適用可能です。
論文 参考訳（メタデータ） (2021-03-05T03:44:42Z) - Multi-Unit Transformers for Neural Machine Translation [51.418245676894465]
マルチユニット変換器 (MUTE) を提案し, 変換器の表現性を向上する。
具体的には、複数の並列ユニットを使用し、複数のユニットによるモデリングがモデル性能を改善し、多様性を導入することを示す。
論文 参考訳（メタデータ） (2020-10-21T03:41:49Z) - Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。
VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。
本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文 参考訳（メタデータ） (2020-03-28T07:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。