論文の概要: Model Casting and Low-Parameter Gating: Towards More Sparsely Activated FFNs

• arxiv url: http://arxiv.org/abs/2609.31975v1
• Date: Fri, 25 Sep 2026 20:19:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:16:02.172225
• Title: Model Casting and Low-Parameter Gating: Towards More Sparsely Activated FFNs
• Title（参考訳）: モデル鋳造と低パラメータゲーティング:より少量活性化されたFFNを目指して
• Abstract要約: 本稿では,フィードフォワードネットワーク層内のアクティベーションを劇的に分散させる中級学習レシピであるモデルキャスティングを紹介する。 次に、最大理論速度を向上する新しいFFN設計であるLoPA Gatingを導入する。
• 参考スコア（独自算出の注目度）: 30.053418749259777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces model casting, a mid-training recipe that drastically sparsifies the activations within the Feed-Forward Network (FFN) layer. With this strategy, at inference time, we first compute the output of the gating matrix and, thanks to its high sparsity, we avoid computations with the two other matrices, reducing the FLOP count by up to 3x. While this theoretical speedup is an upper bound, model casting translates into significant speedups both on CPU and GPU. We then introduce LoPA Gating, a new FFN design that increases the maximum theoretical speedup. It is a low-FLOPs parameterization of the gating matrix that overcomes the 3x cap by allocating fewer FLOPs and parameters to the gating matrix, compared to the two other FFN matrices that are sparsely activated. We consider two cases: (i) we cast a pre-trained model with a sparsity inducing activation; (ii) we train with LoPA from scratch. In all settings, we significantly outperform existing pruning solutions and regular RELU-fication. For instance, at matched quality, we achieve a 3.2x FLOP speedup with LoPA Casting, against 1.6x at best for competing methods top-p and TEAL. Using dedicated kernels, we achieve an actual 3.31x speed-up on GPU at 90% sparsity, past the 3x ceiling of standard gating; RELU-fication, meanwhile, plateaus below 80% sparsity.
• Abstract（参考訳）: 本稿では,Feed-Forward Network (FFN) 層内のアクティベーションを劇的に分散させる中級学習レシピであるモデルキャスティングを紹介する。 この戦略により、まずゲーティング行列の出力を計算し、その疎度により、他の2つの行列との計算を回避し、FLOP数を最大3倍に削減する。 この理論的なスピードアップは上限であるが、モデルキャスティングはCPUとGPUの両方で大幅なスピードアップに変換される。 次に、最大理論速度を向上する新しいFFN設計であるLoPA Gatingを導入する。 これは、わずかに活性化される他の2つのFFN行列と比較して、より少ないFLOPとパラメータをゲーティング行列に割り当てることで、3xキャップを克服するゲーティング行列の低FLOPのパラメータ化である。 私たちは2つのケースを考えます。 (i) アクティベーションを誘導するスパーシティ付き事前学習モデルを投入する。 (ii)LoPAをゼロからトレーニングします。 すべての設定において、既存のプルーニングソリューションやレギュラーRELU-ficationよりも大幅に優れています。 例えば、一致した品質で、私たちはLoPA Castingで3.2倍のFLOPスピードアップを達成する。 専用カーネルを使用することで、標準ゲーティングの3倍の天井を越え、90%の間隔でGPU上の実際の3.31倍のスピードアップを実現します。

関連論文リスト

• Orthogonal Finetuning Made Scalable [92.34573849209238]
  OFT(Orthogonal Finetuning)は、壊滅的な忘れ込みを防止しつつ、パラメータ効率の高い適応を提供するが、実行時とメモリの要求が高いため、実際のデプロイメントが制限される。 ここでは,OFTの計算ボトルネックを重み中心の実装とみなす。 本稿では,行列ベクトル乗法(行列フリー計算)を用いて,計算コストを2次に削減する入力中心の変換法OFTv2を提案する。 これらの変更により、OFTv2は最大10倍の高速トレーニングと3倍のGPUメモリ使用率を達成することができる。
  論文  参考訳（メタデータ） (2025-06-24T17:59:49Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• FastLR: Non-Autoregressive Lipreading Model with Integrate-and-Fire [74.04394069262108]
  我々は,全てのターゲットトークンを同時に生成する非自己回帰(NAR)リップリーダーモデルであるFastLRを提案する。 FastLRは最先端のリップリーダーモデルと比較して10.97$times$のスピードアップを実現している。
  論文  参考訳（メタデータ） (2020-08-06T08:28:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。