論文の概要: Attention, Dynamic Wave and Hybrid Sequence Mixers in Language Models

• arxiv url: http://arxiv.org/abs/2610.39854v1
• Date: Thu, 29 Oct 2026 11:33:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.498835
• Title: Attention, Dynamic Wave and Hybrid Sequence Mixers in Language Models
• Title（参考訳）: 言語モデルにおける注意・動的波動・ハイブリッド列混合器
• Abstract要約: 本稿では,入力依存型指数減衰とコサイン位相変調に基づく動的ウェーブ再帰層を定式化する。 TinyStoriesでは、4096トークンまでのレイテンシ、スループット、ピークVRAMプロファイリングで評価される。 効率の図はアーキテクチャよりも実装によって管理されます。
• 参考スコア（独自算出の注目度）: 15.119045051735633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) rely on Multi-Head Attention (MHA) for sequence modeling, but scaling to long contexts is constrained by the quadratic cost of attention, motivating sub-quadratic recurrent alternatives. This paper formalizes a Dynamic Wave recurrent layer, based on input-dependent exponential damping and cosine phase modulation, and evaluates three 10.94M-parameter configurations (Pure Transformer, Pure Wave, and Hybrid Wave-Attention) on TinyStories under perplexity, latency, throughput and peak VRAM profiling up to 4096 tokens. The Hybrid configuration reaches the best perplexity, 5.95 on the full held-out split against 6.93 for the Transformer and 7.26 for Pure Wave. The efficiency picture, however, is governed by implementation rather than by architecture. Against an unfused attention baseline, Pure Wave uses 78.7% less peak VRAM at a 4096-token context (1404.3 MB vs. 6601.6 MB); against a fused scaled-dot-product attention kernel the same comparison yields no advantage at all (1404.3 MB vs. 1403.6 MB), and in training mode Pure Wave is 8.3% more expensive than the Transformer. Likewise, hoisting elementwise terms out of the recurrence loop speeds the layer up 2.53-fold with no custom kernel, reducing its latency gap to attention from 2.48-fold to 1.12-fold. A hybrid stack is found to inherit the cost of its more expensive mixer rather than the advantage of its cheaper one, its peak VRAM matching the Pure Transformer to within 0.1%. A closed-form memory model reproduces these measurements and predicts the context length beyond which attention overtakes the vocabulary projection. The findings indicate that reported efficiency gains for recurrent attention replacements must be stated relative to a named attention backend and a named implementation, and that hybridization is best justified on quality grounds.
• Abstract（参考訳）: 大規模言語モデル(LLM)はシーケンスモデリングにMHA(Multi-Head Attention)に依存している。 本稿では,入力依存性の指数減衰とコサイン位相変調に基づく動的ウェーブのリカレント層を定式化し,4096トークンまでの複雑度,レイテンシ,スループット,ピークVRAMによるTinyStories上の10.94Mパラメータ構成(Pure Transformer,Pure Wave,Hybrid Wave-Attention)を評価した。 ハイブリッド構成は最も難易度が高く、5.95はトランスフォーマーが6.93、純波が7.26である。 しかし、効率の図はアーキテクチャよりも実装によって管理されている。 未使用の注意基準に対して、Pure Waveは4096-tokenコンテキスト(1404.3 MB対.6601.6 MB)で78.7%のピークVRAMを使用する。 同様に、繰り返しループから要素を巻き上げることで、カスタムカーネルを使わずにレイヤを2.53倍に高速化し、遅延ギャップを2.48倍から1.12倍に短縮する。 ハイブリッドスタックは安価なミキサーの利点よりも高価なミキサーのコストを継承し、ピークのVRAMはPure Transformerを0.1%以下に設定している。 クローズドフォームメモリモデルは、これらの測定を再現し、注意が語彙投影を上回るコンテキスト長を予測する。 この結果から, 再帰的注意置換の効率向上は, 名前付き注意バックエンドと名前付き実装に比例して記述されなければならないこと, ハイブリダイゼーションは品質面で最適であることが示唆された。

関連論文リスト

• Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI [305.64163943247576]
  我々はNemotron 3.5 Super and Nemotron 3.5 Lightning, Open and efficient Mixture-of-Experts Hybrid Mamba-Transformer Modelを紹介する。 どちらのモデルも、大規模な蒸留、長期のコンテキストトレーニング、ネイティブ投機的復号化を組み合わせたものである。
  論文  参考訳（メタデータ） (2026-10-28T00:28:08Z)
• Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
  Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。 LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
  論文  参考訳（メタデータ） (2026-09-30T16:47:35Z)
• WaVeFuse: Regime-Adaptive Equity Index Forecasting via Channel-Wise Wavelet Denoising and Vertical Attention Fusion [0.0]
  WaVeFuseは、エクイティ予測フレームワークのためのハイブリッドなDeep Learningである。 技術指標(TI)の伝搬、チャネル非識別分解、静的マルチブランチ融合に対処する。 WaVeFuseは、研究と意思決定支援のデプロイメントに適した、計算効率のよい、レシシロバストなフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-09-13T18:50:33Z)
• SymbolicLight V1: Spike-Gated Dual-Path Language Modeling with High Activation Sparsity and Sub-Billion-Scale Pre-Training Evidence [8.419155861590548]
  SymbolicLight V1はスパイクゲートのデュアルパス言語モデルである。 バイナリのLeaky Integrate-and-Fireスパイクダイナミクスと連続的な残留ストリームを組み合わせたものだ。 PPL 8.88-8.93は4つの独立した実行で1要素あたりのアクティベーション間隔が89%である。
  論文  参考訳（メタデータ） (2026-05-20T16:00:20Z)
• Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall [0.0]
  Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。 FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。 本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
  論文  参考訳（メタデータ） (2026-04-09T02:00:30Z)
• Compressing Transformer Language Models via Matrix Product Operator Decomposition: A Case Study on PicoGPT [0.0]
  トランスフォーマーベースの言語モデルは、NLPタスク間で強力なパフォーマンスを実現するが、その2次パラメータスケーリングは、リソース制約のあるハードウェアへのデプロイを高くする。 変圧器の原理圧縮法として行列積演算子分解について検討する。 MPOは、重み行列を低ランクコアの鎖に分解し、近似品質は結合次元chiによって制御される。
  論文  参考訳（メタデータ） (2026-03-30T14:57:47Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity [56.0251572416922]
  状態空間モデル(SSM)は、シーケンシャルモデリングのためのトランスフォーマーの効率的な代替手段として登場した。 本稿では,Mambaブロックのモダリティ特異的パラメータ化により,モダリティを意識した疎結合を実現する新しいSSMアーキテクチャを提案する。 マルチモーダル事前学習環境におけるMixture-of-Mambaの評価を行った。
  論文  参考訳（メタデータ） (2025-01-27T18:35:05Z)
• The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
  注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留する方法を示す。 結果として得られたハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。 また,Mambaとハイブリッドモデルの推論速度を高速化するハードウェア対応投機的復号アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-08-27T17:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。