論文の概要: MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution

• arxiv url: http://arxiv.org/abs/2609.35664v1
• Date: Mon, 28 Sep 2026 17:23:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:48:54.583776
• Title: MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution
• Title（参考訳）: MS-GLA:マルチテンポラルレゾリューションによる表現型ボトルネックの対応のためのマルチスケールゲージ付き線形アテンション
• Abstract要約: ゲーテッド線形アテンション (GLA) 変換器はデータ依存ゲーティングを通じて線形リカレントモデルを前進させる。 我々は,複数の時間分解能にまたがって注目ヘッドを分散することで,この問題に対処するマルチスケール Gated Linear Attention (MS-GLA) を導入する。 MS-GLAは、一致したパラメータ数において、GLAよりも高い精度と低いパープレキシティを一貫して達成する。
• 参考スコア（独自算出の注目度）: 2.625250413679978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gated Linear Attention (GLA) Transformers advance linear recurrent models through data-dependent gating, but face a core limitation: the fixed-capacity memory matrices across all heads operate at a single temporal resolution, where each token is processed individually, forcing them to simultaneously encode local syntactic patterns and long-range semantic structure, creating a representational bottleneck that gating alone is insufficient to resolve. We introduce Multi-Scale Gated Linear Attention (MS-GLA), which addresses this by distributing attention heads across multiple temporal resolutions. Coarser resolutions pool longer token spans naturally specializing toward long-range dependencies, while finer head groups retain sensitivity to local syntactic structure. A learnable, input-dependent fusion layer dynamically recombines head group outputs at each timestep, expanding effective memory capacity without increasing per-head state size. This multi-resolution decomposition draws on principles from Multi-Scale State-Space Models (MS-SSM), adapting them to the gated linear attention setting. We evaluate MS-GLA on language modeling, recall-intensive tasks, and long-context generalization. Across all settings, MS-GLA consistently achieves higher accuracy and lower perplexity than GLA at matched parameter counts, with up to 18.9% improvement on recall-intensive tasks and 9.5% lower average perplexity on language modeling benchmarks, validating multi-temporal resolution decomposition as a principled and effective extension of Gated Linear Attention.
• Abstract（参考訳）: Gated Linear Attention (GLA) Transformerはデータ依存のゲーティングを通じて線形リカレントモデルを前進させるが、コアの制限に直面している: すべてのヘッドにまたがる固定容量メモリ行列は1つの時間分解で動作し、各トークンは個別に処理され、局所的な構文パターンと長距離セマンティック構造を同時にエンコードし、ゲーティングだけでは解決できない表現的ボトルネックを作り出す。 我々は,複数の時間分解能にまたがって注目ヘッドを分散することで,この問題に対処するマルチスケール Gated Linear Attention (MS-GLA) を導入する。 より細いヘッド群は局所的な構文構造に対する感受性を維持しながら、より長いトークンプールは自然に長距離依存に特化している。 学習可能な入力依存融合層は、ヘッドグループ出力を各タイミングで動的に再結合し、ヘッド状態サイズを増大させることなく有効メモリ容量を拡大する。 この多分解分解は多スケール状態空間モデル(MS-SSM)の原理に基づいており、有界線形アテンション設定に適応する。 我々は、言語モデリング、リコール集約タスク、長いコンテキストの一般化におけるMS-GLAの評価を行った。 すべての設定において、MS-GLAは一致したパラメータ数においてGLAよりも高い精度と低いパープレキシティを一貫して達成し、リコール集約タスクは最大18.9%改善し、言語モデリングベンチマークでは9.5%低めのパープレキシティを実現し、Gated Linear Attentionの原則的かつ効果的な拡張として多重時間分解分解を検証した。

関連論文リスト

• Dynamic Linear Attention [33.7476613423211]
  多状態線形アテンションのための動的メモリモデリングフレームワークであるDLAを提案する。 2つの異なる線形アテンションモデルでDLAを事前訓練し、3つのカテゴリで16のデータセットを評価する。
  論文  参考訳（メタデータ） (2026-06-09T09:57:48Z)
• Divide-and-Conquer Inference for Large-Scale Visual Recognition with Multimodal Large Language Models [12.459927405623624]
  Divide-and-Conquer Inference (DCI)はMLLMを用いた視覚認識のための新しいテスト時間スケーリング戦略である。 DCIは、複雑なグローバルな分類タスクを、より単純で局所化されたサブプロブレムに分解し、探索空間を圧縮するために動的プルーニング機構を使用する。 モデルに依存しないプラグアンドプレイのパラダイムとして、DCIは大規模なシナリオでMLLMの推論精度をスケールするための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-05-24T01:07:05Z)
• MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head [34.97685474077599]
  線形アテンションは効率的な代替手段を提供するが、その直接的なアプリケーションはしばしば性能を低下させる。 本稿では,トークン次元に沿って分割されたヘッド内での注意を演算することで,この多様性を保ったマルチヘッド線形注意(MHLA)を提案する。 我々は,MHLAがソフトマックスアテンションの表現力の多くを回復しながら線形複雑性を維持していることを証明し,その有効性を複数の領域にわたって検証した。
  論文  参考訳（メタデータ） (2026-01-12T18:59:18Z)
• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
  拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。 DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。 DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
  論文  参考訳（メタデータ） (2025-08-01T17:56:07Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。