論文の概要: Towards the Connection between Activation Sparsity and Flat Minima

• arxiv url: http://arxiv.org/abs/2605.25612v1
• Date: Mon, 25 May 2026 09:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.541421
• Title: Towards the Connection between Activation Sparsity and Flat Minima
• Title（参考訳）: 活性化空間とフラットミニマとの接続に向けて
• Authors: Ze Peng, Jian Zhang, Lei Qi, Yang Gao, Yinghuan Shi,
• Abstract要約: アクティベーションの間隔は、標準化されたトランスフォーマーのブロックに現れる。 アクティベーション空間は「増大平坦性」と入力・アクティベーション基準の積との比に等しいことがわかった。 本稿では,ReLU下でのアクティベーション・スパシティを低減するデリバティブ・スパシティを提案する。
• 参考スコア（独自算出の注目度）: 46.83458699343789
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The observation that activation sparsity emerges in MLP blocks of standardly trained Transformers offers an opportunity to drastically reduce computation costs without sacrificing performance. To theoretically explain this phenomenon, existing works have shown that activation sparsity does not result from the data properties or data fitting but from the implicit bias of the training process. However, these connections are obtained with strong assumptions, which cannot be applied to deep models standardly trained with a large number of steps. Different from these works, we find that the flatness of loss landscapes is also closely related to the MLP activation sparsity and can serve as a weaker and naturally emerging assumption standard deep networks. Specifically, we find that 1) the MLP activation sparsity equals a ratio between "augmented flatness" (a weighted sum of flatness measures) and the product of the input norm and activation gradient of the MLP. We empirically find that this ratio decreases during training, leading to sparse activations. 2) We also propose the notion of derivative sparsity, which reduces to activation sparsity under ReLU, but further enables pruning in the backward propagation and is more stable than activation sparsity. With the theoretical findings, we can further encourage activation sparsity by decreasing the numerator and increasing the denominator of the ratio using three methods. These plug-and-play modifications can effectively reduce the ratio and produce sparser activations. Experiments on ImageNet-1K and C4 demonstrate relative improvements of at least 36% on inference sparsity and at least 50% on training sparsity over vanilla Transformers, indicating further potential cost reduction in both inference and training
• Abstract（参考訳）: 標準化されたトランスフォーマーのMPPブロックにアクティベーションの間隔が現れるという観察は、性能を犠牲にすることなく、計算コストを大幅に削減する機会を提供する。 この現象を理論的に説明するために、既存の研究は、アクティベーション空間がデータ特性やデータ適合性からではなく、トレーニングプロセスの暗黙のバイアスから生じることを示した。 しかし、これらの接続は強い仮定で得られ、多くのステップで標準的に訓練されたディープモデルには適用できない。 これらの研究と異なり、損失景観の平坦性は、MLP活性化空間と密接に関連しており、より弱く自然に出現する仮定の標準ディープネットワークとして機能する。 具体的には 1) MLPの活性化間隔は, 加重平坦度(重み付け平坦度)と入力基準の積とMLPの活性化勾配との比に等しい。 トレーニング中にこの比率が低下し、緩やかなアクティベーションが生じることを実証的に見出した。 2) ReLU 下での活性化間隔を小さくするが, 後方伝播におけるプルーニングも可能であり, 活性化間隔よりも安定である, 導関数のスポーシティの概念も提案する。 理論的には, 3つの方法を用いて, 数値演算子を減らし, 比の分母を増大させることにより, さらに活性化空間を促進できる。 これらのプラグアンドプレイの修正は、効率よく比を減らし、スペーサーのアクティベーションを発生させる。 ImageNet-1KとC4の実験では、推論間隔の少なくとも36%、バニラ変換器のトレーニング間隔の少なくとも50%が相対的に改善され、推論とトレーニングの両方においてさらなるコスト削減が示されている。

関連論文リスト

• ActTail: Global Activation Sparsity in Large Language Models [14.120733678728191]
  本稿では,ヘビータイド自己規則化(HT-SR)理論に基づく,グローバルなアクティベーション・スパシティ割り当てを備えたTopK等級に基づくアクティベーション・スパシティ手法であるActTailを提案する。 提案手法は,一様割当よりも高間隔で,複雑度と下流タスク性能を両立させることを示す。
  論文  参考訳（メタデータ） (2026-02-18T14:46:03Z)
• Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [64.15238674475619]
  活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。 PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。 我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
  論文  参考訳（メタデータ） (2024-11-04T17:59:04Z)
• A Theoretical Explanation of Activation Sparsity through Flat Minima and Adversarial Robustness [29.87592869483743]
  ブロック内でのアクティベーション間隔の最近の経験的観察は、自由な計算コストを大幅に削減する機会を提供する。 本稿では、活性化空間の1つの源としての空間性の概念とそれに基づく理論的説明を提案する。
  論文  参考訳（メタデータ） (2023-09-06T13:48:40Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。