論文の概要: Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus
- arxiv url: http://arxiv.org/abs/2608.12149v1
- Date: Wed, 12 Aug 2026 15:11:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.622766
- Title: Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus
- Title（参考訳）: ハイブリッド線形注意大言語モデルにおける大規模活性化:事前注意スパイクとスパイク間プレート
- Abstract要約: 層間剥離HLA LLMにおける質量活性化(MA)に関する最初の系統的研究について述べる。
アーキテクチャに整合した2つの形態が明らかになった。MAは、すべての注意層の前に常にスパイクし、事前注意スパイク(PAS)を形成し、介入する線形注意層を通して持続し、スパイク間プラトー(ISP)を発生させる。
5つの線形アテンションアーキテクチャ、6つのハイブリダイゼーション構成、5つのデータドメイン、1.2Bから397Bにまたがる代表的なオープンソースハイブリッドモデルにまたがって、この組織が繰り返されることを確立します。
- 参考スコア（独自算出の注目度）: 20.507499841229098
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the first systematic study of Massive activations (MAs) in layer-interleaved HLA LLMs and uncover two architecture-aligned morphologies: MAs consistently spike immediately before full attention layers, forming pre-attention spikes (PAS), and can persist through intervening linear attention layers, giving rise to inter-spike plateaus (ISP). As full attention becomes denser, successive PAS become increasingly connected through ISP, ultimately recovering the stable MA morphology of full attention LLMs. We establish the recurrence of this organization across five linear attention architectures, six hybridization configurations, five data domains, and representative open-source hybrid models spanning 1.2B to 397B total parameters. Controlled pretraining of GDN-based hybrids at scales up to 1.3B shows that both morphologies emerge early and respond asymmetrically to output gating: full attention output gating strongly attenuates their absolute magnitudes without eliminating their layerwise organization, whereas removing GDN gates yields comparatively modest amplification. Mechanistically, our systematic-outlier analysis supports a shared lifecycle account governed by the timing of MA cancellation. PAS follows a localized write-sink-cancel process, while the extended persistence of ISP is consistent with delayed cancellation. At the full attention limit, this account recovers the stable MA morphology characteristic of full attention LLMs. Our code is available at https://github.com/StartluxLabs/Massive-Activations-HLA.
- Abstract（参考訳）: 本研究は,階層型HLA LLMにおけるマス・アクティベーション(MA)に関する最初の体系的研究であり,MAは全注意層の前に常にスパイクし,PASを形成し,線形注意層を介し持続し,スパイク間高原(ISP)を生じさせる2つのアーキテクチャの整列形態を明らかにする。
フルアテンションがより密化するにつれて、逐次PASはISPを介してますます接続され、最終的にフルアテンションLSMの安定したMA形態が回復する。
5つの線形アテンションアーキテクチャ、6つのハイブリダイゼーション構成、5つのデータドメイン、1.2Bから397Bにまたがる代表的なオープンソースハイブリッドモデルにまたがって、この組織が繰り返されることを確立します。
最大1.3BまでのスケールでのGDN系ハイブリッドの事前訓練は、モルフォロジーが早期に出現し、出力ゲーティングに非対称に反応することを示し、フルアテンション出力ゲーティングは層状組織を除去することなく、絶対等級を強く減衰する一方で、GDNゲートの除去は比較的穏やかな増幅をもたらす。
機械的には,MAキャンセルのタイミングによって管理される共有ライフサイクルアカウントをサポートする。
PASはローカルな書き込みシンク・キャッシュプロセスに従っており、ISPの拡張永続化は遅延キャンセルと一致している。
本報告では, フルアテンション限界において, フルアテンションLLMの安定MA形態特性を回復する。
私たちのコードはhttps://github.com/StartluxLabs/Massive-Activations-HLAで公開されています。
関連論文リスト
- CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。
ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。
ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
論文 参考訳（メタデータ） (2026-09-01T22:49:46Z) - Divisive Normalization Shapes Low-Rank Slow Manifolds for Continuous Working Memory [6.1311571881384745]
時間変化入力下での多様体の破砕を防止するためには,分割正規化が数学的に不可欠であることを示す。
その結果,分割正規化は高忠実度連続表現を学習するための重要な計算機構であることがわかった。
論文 参考訳（メタデータ） (2026-08-03T09:20:05Z) - Beyond the Aggregation Dilemma: Prior-Retaining Decoupled Learning for Multimodal Graphs [69.56407708794845]
MultimodalAttributed Graph Learning (MAGL)はグラフアグリゲーションを通じてノード属性と構造トポロジーを統合する。
事前訓練されたエンコーダがLarge Foundation Models (LFM) へと進化するにつれて、MAGLのランドスケープは根本的に変化していく。
高信頼のLFM先行の下では、強制集約は、識別シグナルを圧倒するトポロジカル固有のノイズを導入する。
本稿では、分離されたデュアルパスパラダイムであるSUPRA(Shared-Unique Prior-Retaining Architecture)を提案する。
SUPRAは、トポロジ・アグノシクスによるモーダリティ特異的な特徴を処理し、軽量共有GNNを介して構造相乗効果を捉え、補助的な深層監視対策の勾配飢餓を発生させる。
論文 参考訳（メタデータ） (2026-05-23T17:42:25Z) - A Single Layer to Explain Them All:Understanding Massive Activations in Large Language Models [56.03096341469333]
大規模言語モデル(LLM)における大規模アクティベーションの起源について検討する。
モデルファミリ間で一貫して観察されるtextbfMassive Emergence Layer (ME Layer) と呼ばれる特定の層を同定する。
RMSNormとFFNパラメータの両方がME層内で大きな活性化の出現に共同して寄与していることを示す。
本研究では,この制限により,大規模アクティベーショントークンの剛性を簡易かつ効果的に低減する手法を提案する。
論文 参考訳（メタデータ） (2026-05-08T21:37:27Z) - Spike-driven Large Language Model [49.52947423982696]
スパイキングニューラルネットワーク(SNN)はスパイク駆動特性を持つ。
現在のLarge Language Models (LLM) は主に大規模密度行列乗法に基づいている。
本研究では,スパース加算操作により高密度行列乗算を除去するスパイク駆動型大規模言語モデルであるSDLLMを提案する。
論文 参考訳（メタデータ） (2026-04-11T17:58:35Z) - Detached Skip-Links and $R$-Probe: Decoupling Feature Aggregation from Gradient Propagation for MLLM OCR [10.20222455728069]
マルチモーダル・大規模言語モデル(MLLM)は、詳細な視覚的詳細が損なわれ、不一致であるOCRタスクにおいて、高レベルの推論では優れているが失敗する。
共同トレーニング中にスキップ分岐を停止しながら前方パスの浅い特徴を再利用する最小限の修正であるデタッチ・スキップリンクを提案する。
我々のアプローチは、OCR中心のベンチマークを一貫して改善し、一般的なマルチモーダルタスクにおいて明確なゲインを提供する。
論文 参考訳（メタデータ） (2026-03-20T15:07:14Z) - Higher-order Linear Attention [59.92962330635185]
スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。
本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
論文 参考訳（メタデータ） (2025-10-31T07:54:37Z) - RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility [9.200793414310182]
RHYTHM(Reasoning with Hierarchical Temporal Tokenization for Human Mobility)を導入した。
汎用予測器や推論器として,大規模言語モデル (LLM) を用いる。
RHYTHMは総合的な精度が2.4%、週末に5.0%、トレーニング時間が24.6%減少している。
論文 参考訳（メタデータ） (2025-09-27T04:55:56Z) - Mechanistic Insights into Grokking from the Embedding Layer [15.676058752772287]
ニューラルネットワークの遅延一般化であるGrokkingは、トランスフォーマーやスタタネートで観測されているが、それを駆動するコンポーネントはまだ探索されていない。
埋め込みはグルーキングの中心であり、インプットの導入はモジュラー演算タスクにおける遅延一般化を誘導する。
我々の手法はグルーキング力学を改良するだけでなく、バイ線形相互作用が効率的なトレーニングを妨げるトランスフォーマー最適化の幅広い課題にまで拡張する。
論文 参考訳（メタデータ） (2025-05-21T15:12:34Z) - Learning to Dissipate Energy in Oscillatory State-Space Models [51.98491034847041]
状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。
我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2025-05-17T23:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。