論文の概要: Massive Activation Gating Channel in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.07661v1
• Date: Tue, 06 Oct 2026 02:55:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.777213
• Title: Massive Activation Gating Channel in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける大規模活性化ゲーティングチャネル
• Abstract要約: 大規模言語モデル(LLM)では大規模なアクティベーションが普及している スパイクフィードフォワードネットワーク(FFN)への入力埋め込みにおいて,大規模なアクティベーションの出現は単一チャネルによって制御されることがわかった。 我々はこのチャネルを、巨大なアクティベーションゲーティングチャネル(MAGC)と呼ぶ。
• 参考スコア（独自算出の注目度）: 11.303972351831582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Massive activations, a phenomenon in which a small number of hidden channels exhibit exceptionally large magnitudes, are pervasive in large language models (LLMs). However, the mechanism by which a token develops massive activations as it propagates through a pretrained LLM remains poorly understood. In this paper, we find that the emergence of massive activations is controlled by a single channel in the input embedding to a spike feed-forward network (FFN). The position of this channel is fixed for a particular LLM. We name this channel the massive activation gating channel (MAGC). When the value of the MAGC is sufficiently large (or small, depending on the LLM), the output of the spike FFN exhibits massive activations. Examining six LLMs across four model families and different model sizes, we verify the existence and effect of MAGC. We further provide a theoretical explanation of the mechanism by which MAGC induces massive activations. When the value of MAGC is sufficiently large (or small), the output of a spike FFN asymptotically reduces to a quadratic form that mixes a few columns of the down-projection matrix of the FFN. Since these columns exhibit the shape of massive activations, the output therefore exhibits massive activations.
• Abstract（参考訳）: 大規模な活性化は、少数の隠れチャネルが非常に大きな大きさを示す現象であり、大きな言語モデル(LLM)において広まる。 しかし、トークンが予め訓練されたLSMを介して伝播するので、トークンが大量活性化するメカニズムはよく分かっていない。 本稿では、スパイクフィードフォワードネットワーク(FFN)に埋め込まれた入力において、大規模なアクティベーションの出現は単一のチャネルによって制御されることを示す。 このチャネルの位置は、特定のLCMに対して固定される。 我々はこのチャネルを、巨大なアクティベーションゲーティングチャネル (MAGC) と名付けた。 MAGCの値が十分に大きい場合(LLMによっては小さい)、スパイクFFNの出力は大きな活性化を示す。 4つのモデルファミリーと異なるモデルサイズにまたがる6つのLLMについて検討し、MAGCの存在と効果を検証する。 さらに、MAGCが大量活性化を引き起こすメカニズムについて理論的に説明する。 MAGCの値が十分に大きい場合(または小さい場合)、スパイクFFNの出力は漸近的に、FFNのダウンプロジェクション行列のいくつかの列を混合する二次形式に減少する。 これらのカラムは大規模な活性化の形状を示すため、出力は大規模な活性化を示す。

関連論文リスト

• A Single Layer to Explain Them All:Understanding Massive Activations in Large Language Models [56.03096341469333]
  大規模言語モデル(LLM)における大規模アクティベーションの起源について検討する。 モデルファミリ間で一貫して観察されるtextbfMassive Emergence Layer (ME Layer) と呼ばれる特定の層を同定する。 RMSNormとFFNパラメータの両方がME層内で大きな活性化の出現に共同して寄与していることを示す。 本研究では,この制限により,大規模アクティベーショントークンの剛性を簡易かつ効果的に低減する手法を提案する。
  論文  参考訳（メタデータ） (2026-05-08T21:37:27Z)
• Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [64.15238674475619]
  活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。 PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。 我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
  論文  参考訳（メタデータ） (2024-11-04T17:59:04Z)
• Mitigating Quantization Errors Due to Activation Spikes in GLU-Based LLMs [5.408684636210501]
  ポストトレーニング量子化(PTQ)は、ウェイトとアクティベーションを定量化し、精度を下げる一般的なアプローチとなっている。 本稿では,現代の大規模言語モデルのフィードフォワードネットワーク(FFN)において広く利用されているGLU変種におけるアクティベーション量子化の課題について述べる。 本稿では,量子化時のアクティベーションスパイクを分離するために,量子化フリーモジュール(QFeM)と量子化フリープリフィックス(QFeP)の2つの経験的手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:54:14Z)
• Massive Activations in Large Language Models [77.51561903918535]
  様々な大規模言語モデル(LLM)にまたがる大規模アクティベーションの存在を示す。 大量活性化は、それに対応するトークンに対する注意確率の集中と、自己注意出力における暗黙のバイアス項をもたらす。
  論文  参考訳（メタデータ） (2024-02-27T18:55:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。