Fugu-MT 論文翻訳(概要): Flash STU: Fast Spectral Transform Units

論文の概要: Flash STU: Fast Spectral Transform Units

arxiv url: http://arxiv.org/abs/2409.10489v4
Date: Mon, 07 Apr 2025 22:47:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-17 12:45:53.001381
Title: Flash STU: Fast Spectral Transform Units
Title（参考訳）: Flash STU:高速スペクトル変換ユニット
Authors: Y. Isabel Liu, Windsor Nguyen, Yagiz Devre, Evan Dogariu, Anirudha Majumdar, Elad Hazan,
Abstract要約: Flash STUは、スライディングウインドウの注意を伴うスペクトル状態空間モデル層をインターリーブするハイブリッドモデルである。我々は, 線形力学系, ロボット制御, 言語モデリングなど, 様々なシーケンス予測タスクにおけるFlash STUとその変種の評価を行った。
参考スコア（独自算出の注目度）: 19.889367504937177
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in state-space model architectures have shown great promise for efficient sequence modeling, but challenges remain in balancing computational efficiency with model expressiveness. We propose the Flash STU architecture, a hybrid model that interleaves spectral state space model layers with sliding window attention, enabling scalability to billions of parameters for language modeling while maintaining a near-linear time complexity. We evaluate the Flash STU and its variants on diverse sequence prediction tasks, including linear dynamical systems, robotics control, and language modeling. We find that, given a fixed parameter budget, the Flash STU architecture consistently outperforms the Transformer and other leading state-space models such as S4 and Mamba-2.
Abstract（参考訳）: 状態空間モデルアーキテクチャの最近の進歩は、効率的なシーケンスモデリングに大いに期待されているが、計算効率とモデル表現性とのバランスは依然として課題である。本稿では,スペクトル状態空間モデル層をスライディングウインドウの注意でインターリーブするハイブリッドモデルであるFlash STUアーキテクチャを提案する。我々は, 線形力学系, ロボット制御, 言語モデリングなど, 様々なシーケンス予測タスクにおけるFlash STUとその変種の評価を行った。固定パラメータの予算を考えると、Flash STUアーキテクチャはトランスフォーマーやS4やMamba-2のような他の主要な状態空間モデルよりも一貫して優れています。

関連論文リスト

Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing [53.295515505026096]
Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。 MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
論文参考訳（メタデータ） (2025-03-27T00:59:14Z)
Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。 DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
論文参考訳（メタデータ） (2024-10-31T07:28:22Z)
FACTS: A Factored State-Space Framework For World Modelling [24.08175276756845]
本研究では,時空間空間モデリングのための新しいリカレントフレームワークであるtextbfFACTored textbfState-space (textbfFACTS) モデルを提案する。 FACTSフレームワークは、置換可能なメモリ表現を学習するルーティング機構を備えたグラフメモリを構築する。汎用的な世界モデリング設計にもかかわらず、常に最先端のモデルに勝ったり、マッチする。
論文参考訳（メタデータ） (2024-10-28T11:04:42Z)
SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文参考訳（メタデータ） (2024-08-19T17:32:15Z)
Enhanced Structured State Space Models via Grouped FIR Filtering and Attention Sink Mechanisms [0.6718184400443239]
本稿では,A-乗算を複数のグループに分解することで課題を軽減する高度なアーキテクチャを提案する。ストリーミング言語モデルで特定される「アテンションシンク」現象にインスパイアされ、モデルの安定性と性能を高めるための同様のメカニズムを組み込んだ。
論文参考訳（メタデータ） (2024-08-01T02:49:58Z)
SHMamba: Structured Hyperbolic State Space Model for Audio-Visual Question Answering [5.016335384639901]
AVQA(Audio-Visual Question Answering)のマルチモーダル入力により,特徴抽出と融合処理がより困難になる。我々は、双曲幾何学と状態空間モデルの利点を統合するために、構造化双曲状態空間モデル(SHMamba: Structured Hyperbolic State Space Model)を提案する。提案手法は,現行のすべての主要な手法の優越性を実証し,実用的なアプリケーションシナリオに適した方法である。
論文参考訳（メタデータ） (2024-06-14T08:43:31Z)
A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
論文参考訳（メタデータ） (2024-05-31T21:47:05Z)
Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。提案手法を拡張・結合する新しい手法を提案し,検討する。
論文参考訳（メタデータ） (2024-02-01T19:47:31Z)
Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling [10.246977481606427]
ドット積自己注意などのトランスフォーマーの異なる成分が表現力に影響を及ぼすメカニズムについて検討する。本研究では,トランスフォーマーにおける臨界パラメータの役割を明らかにする。
論文参考訳（メタデータ） (2024-02-01T11:43:13Z)
Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
ConvS5は、長距離時間モデリングのための効率的な変種である。トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
論文参考訳（メタデータ） (2023-10-30T16:11:06Z)
Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
論文参考訳（メタデータ） (2023-08-13T06:12:00Z)
Hungry Hungry Hippos: Towards Language Modeling with State Space Models [17.412372994222114]
状態空間モデル (SSM) は、いくつかのモダリティにおいて最先端のシーケンスモデリング性能を示しているが、言語モデリングではあまり注目されていない。本稿では,SSM間の表現力ギャップと言語モデリングにおける注意点の理解,およびSSM間のハードウェア障壁の低減について述べる。
論文参考訳（メタデータ） (2022-12-28T17:56:03Z)
Foundation Transformers [105.06915886136524]
我々は、真の汎用モデリングのためのファンデーショントランスフォーマーの開発を求めている。本研究では,その目的を達成するための変圧器の変種であるマグニートーを導入する。
論文参考訳（メタデータ） (2022-10-12T17:16:27Z)
Hidden Parameter Recurrent State Space Models For Changing Dynamics Scenarios [18.08665164701404]
リカレントステートスペースモデルは、動的が固定され、変化しないと仮定するが、これは現実のシナリオではめったにない。隠れ再帰状態空間モデル(Hidden Recurrent State Space Models, HiP-RSSMs)は, 低次元の潜伏因子の集合で関連する力学系のファミリーをパラメータ化するフレームワークである。 HiP-RSSMsは、実世界のシステムとシミュレーションの両方において、いくつかの挑戦的なロボットベンチマークにおいて、RSSMsや競合するマルチタスクモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-29T14:54:49Z)
Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems [32.86421107987556]
我々は,従来の微分方程式の数値解法として,ディープニューラルネットワークを解析する最近の発展の上に構築する。時間的進化計画であるTransEvolveを定式化し、複数の積層層にコストのかかるドット積の注意をバイパスする。我々は、よく知られたエンコーダデコーダとエンコーダのみのタスクでTransEvolveで徹底的な実験を行う。
論文参考訳（メタデータ） (2021-09-30T14:01:06Z)
IOT: Instance-wise Layer Reordering for Transformer Structures [173.39918590438245]
トランスフォーマの固定層順序の仮定を分解し,モデル構造にインスタンス単位の層順序変更を導入する。当社の手法はTransformer以外のアーキテクチャにも適用可能です。
論文参考訳（メタデータ） (2021-03-05T03:44:42Z)
Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文参考訳（メタデータ） (2020-11-10T19:31:29Z)
Multi-Unit Transformers for Neural Machine Translation [51.418245676894465]
マルチユニット変換器 (MUTE) を提案し, 変換器の表現性を向上する。具体的には、複数の並列ユニットを使用し、複数のユニットによるモデリングがモデル性能を改善し、多様性を導入することを示す。
論文参考訳（メタデータ） (2020-10-21T03:41:49Z)
Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。