論文の概要: Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout

• arxiv url: http://arxiv.org/abs/2611.08376v1
• Date: Thu, 05 Nov 2026 17:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.607942
• Title: Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout
• Title（参考訳）: Muir: 感度調整ゲーティングとマッチングフィルタの読み出しによる線形注意
• Abstract要約: Gated DeltaNet-2 (GDN-2)は、これをチャネルワイズで一般化し、分離され、フルランクの消去および書き込みゲートを持つ。 状態更新は書き込みよりも消去に対してはるかに敏感であることを示す。 我々は全てのゲートを感度調整された低ランクプロジェクションに融合するMuirを紹介する。
• 参考スコア（独自算出の注目度）: 1.535113895214028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear attention compresses context into a fixed-size key-value state for linear-time training and constant-memory inference. Gated delta-rule models decay this state and erase its prediction for an incoming key before writing a new value; Gated DeltaNet-2 (GDN-2) generalizes this with channel-wise decay and decoupled, full-rank erase and write gates. However, we show that state updates are far less sensitive to erasure than to writes: key activation and unit normalization concentrate key energy onto a sparse subset of channels, whereas value writes scale all channels, so the erase gate can be parameterized at lower rank. Furthermore, slow-decaying state rows accumulate much larger norms than fast rows, dominating unweighted readout and forcing stronger write-time erasure to suppress interference. Guided by this analysis, we introduce Muir, which fuses all gates into a sensitivity-allocated low-rank projection, re-weights state rows with a matched-filter readout gate, and reinvests the saved parameters in a wider feed-forward network. Because standard chunkwise algorithms become numerically unstable at the large chunk sizes needed to saturate wide matrix units, we design a parallel update for stable, efficient training. Across 166M-1.34B parameters, Muir lowers perplexity by 1.8-2.0% over GDN-2 and 2.5-3.6% over Transformer, raises commonsense accuracy by up to 1.9 points, and improves extractive recall over GDN-2. At 1.34B, Muir outperforms both baselines on multi-hop and multi-needle recall, extrapolates 2,560x from its 4K training length to 10M-token streams without perplexity drift, and maintains near-100% passkey retrieval to 1M tokens with static readout. Muir achieves these gains while matching GDN-2 throughput, reaching its 100B-token validation loss 1.2x faster, and training 2.7x faster than Transformer at 32K.
• Abstract（参考訳）: リニアアテンションは、コンテキストを線形時間トレーニングと定数メモリ推論のための固定サイズのキー値状態に圧縮する。 Gated DeltaNet-2 (GDN-2)は、これをチャネルワイズで一般化し、非結合でフルランクの消去と書き込みゲートで一般化する。 キーアクティベーションとユニット正規化は、キーエネルギーをチャンネルのスパースサブセットに集中させるのに対して、値書き込みは全てのチャンネルをスケールするため、消去ゲートは下位ランクでパラメータ化できる。 さらに、遅い遅延状態列は、高速な行よりもはるかに大きなノルムを蓄積し、未読み込みを支配し、干渉を抑制するためにより強い書き込み時間消去を強制する。 この分析で導かれたMuirは、全てのゲートを感度調整された低ランクプロジェクションに融合させ、マッチしたフィルタの読み出しゲートで状態行を再重み付けし、より広いフィードフォワードネットワークで保存されたパラメータを再検証する。 標準的なチャンクワイドアルゴリズムは、広い行列単位を飽和させるために必要な大きなチャンクサイズで数値的に不安定になるため、安定かつ効率的なトレーニングのための並列更新を設計する。 166M-1.34Bパラメータ全体で、MuirはGDN-2よりも1.8-2.0%、Transformerより2.5-3.6%のパープレキシティを低下させ、コモンセンスの精度を最大1.9ポイント向上させ、GDN-2よりも抽出リコールを改善する。 1.34Bで、Muirはマルチホップとマルチニードルリコールの両方でベースラインを上回り、4Kトレーニング長から10Mトーケンストリームまで2,560倍を外挿し、静的読み出しで100Mトークンにほぼ100%のパスキー検索を維持できる。 MuirはGDN-2スループットにマッチし、100Bの検証損失は1.2倍、トレーニングは32KでTransformerより2.7倍速くなった。

関連論文リスト

• TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference [60.442064966340524]
  Transformer Residual Codebook Residual (トレース) Traceは、Vector Quantizerを、コードブックにインデックスされたキー/値表現の後の残余に配置する。 トレースは最大1.89%の精度で、最大1.27倍のエンドツーエンドの推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-10-15T09:57:04Z)
• DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization [25.544698411141642]
  Gated DeltaNet (GDN) やKim Delta Attention (KDA) を取り入れた最近の言語モデルは、ほとんどの層でKVキャッシュを固定サイズのリカレントステートに置き換えることで、このコストを削減している。 これらのリカレントステートは一般的にFP32に格納され、かなりのGPUメモリを消費する。 我々は,GDNおよびKDAに基づく言語モデルにおいて,再帰状態の学習後の量子化を初めて研究する。
  論文  参考訳（メタデータ） (2026-08-27T09:11:48Z)
• Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory [0.0]
  ツールレジストリで、ルーティングをスキーマ準備コストから分離する方法を示します。 その結果生じる非回帰特性は、出力の忠実性を保証する(トップ-1 合意、D_KL 近似 0)。 2つの負の結果は、オフアンカーのRoPEフィデリティ境界と、ドリフトを予測するための基準フリードリフトゲートの失敗に結びついている。
  論文  参考訳（メタデータ） (2026-07-01T18:49:45Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• DRetHTR: Linear-Time Decoder-Only Retentive Network for Handwritten Text Recognition [13.484241759667912]
  DRetHTRはRetentive Networks(RetNet)上に構築されたデコーダのみのモデルである。 DRetHTRは1.6-1.9倍高速で、メモリ使用量は38-42%減少し、精度は低下しない。 これは、デコーダのみのRetNetにより、デコーダレベルのHTR精度が大幅に向上し、デコード速度とメモリ効率が大幅に向上することを示している。
  論文  参考訳（メタデータ） (2026-02-19T14:12:07Z)
• What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
  GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
  論文  参考訳（メタデータ） (2025-10-13T16:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。