論文の概要: Mixture-of-Channels: Exploiting Sparse FFNs for Efficient LLMs Pre-Training and Inference

• arxiv url: http://arxiv.org/abs/2511.09323v1
• Date: Thu, 13 Nov 2025 01:46:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.519568
• Title: Mixture-of-Channels: Exploiting Sparse FFNs for Efficient LLMs Pre-Training and Inference
• Title（参考訳）: シャンネルの混合: 効率的なLCMのためのスパースFFNの爆発と推測
• Authors: Tong Wu, Yutong He, Bin Wang, Kun Yuan,
• Abstract要約: 大規模言語モデル(LLM)は、多様な人工知能タスクで顕著な成功を収めている。 MoCは、事前トレーニング中のアクティベーションメモリを大幅に削減する。 MoCは、競合モデルのパフォーマンスを維持しながら、メモリの大幅な節約とスループットの向上を提供する。
• 参考スコア（独自算出の注目度）: 16.71963410333802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable success across diverse artificial intelligence tasks, driven by scaling laws that correlate model size and training data with performance improvements. However, this scaling paradigm incurs substantial memory overhead, creating significant challenges for both training and inference. While existing research has primarily addressed parameter and optimizer state memory reduction, activation memory-particularly from feed-forward networks (FFNs)-has become the critical bottleneck, especially when FlashAttention is implemented. In this work, we conduct a detailed memory profiling of LLMs and identify FFN activations as the predominant source to activation memory overhead. Motivated by this, we introduce Mixture-of-Channels (MoC), a novel FFN architecture that selectively activates only the Top-K most relevant channels per token determined by SwiGLU's native gating mechanism. MoC substantially reduces activation memory during pre-training and improves inference efficiency by reducing memory access through partial weight loading into GPU SRAM. Extensive experiments validate that MoC delivers significant memory savings and throughput gains while maintaining competitive model performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、モデルのサイズとトレーニングデータとのパフォーマンス改善を相関付けるようなスケーリング法則によって、さまざまな人工知能タスクで顕著な成功を収めている。 しかし、このスケーリングパラダイムはメモリオーバーヘッドを大幅に増加させ、トレーニングと推論の両方において重大な課題を生み出します。 既存の研究は主にパラメータとオプティマイザ状態のメモリ削減に対処してきたが、特にFlashAttentionを実装する場合、特にフィードフォワードネットワーク(FFN)からのアクティベーションメモリが重要なボトルネックとなっている。 本研究では, LLM の詳細なメモリプロファイリングを行い, FFN のアクティベーションをアクティベーションメモリのオーバーヘッドの原因として同定する。 そこで我々は,SwiGLUのネイティブゲーティング機構によって決定されるトークンあたりのTop-Kチャネルのみを選択的に活性化する新しいFFNアーキテクチャであるMixture-of-Channels (MoC)を紹介した。 MoCは、事前トレーニング中のアクティベーションメモリを大幅に削減し、GPU SRAMへの部分重み付けによるメモリアクセスを削減することにより、推論効率を向上させる。 大規模な実験により、MoCは競合モデルのパフォーマンスを維持しながら、メモリの大幅な節約とスループットの向上を実現している。

関連論文リスト

• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• DAF: An Efficient End-to-End Dynamic Activation Framework for on-Device DNN Training [41.09085549544767]
  システムレベルの最適化を通じて、スケーラブルで効率的なデバイス上でのトレーニングを可能にする動的アクティベーションフレームワーク(DAF)を導入する。 DAFは、主要なシステムのボトルネックに対処することで、メモリと時間効率の動的量子化トレーニングを実現する。 組み込みプラットフォームとモバイルプラットフォームにわたるさまざまなディープラーニングモデルの評価によると、メモリ使用量の削減に22.9倍、スピードアップに32倍の3.2倍となる。
  論文  参考訳（メタデータ） (2025-07-09T08:59:30Z)
• MNN-LLM: A Generic Inference Engine for Fast Large Language Model Deployment on Mobile Devices [4.385815629175844]
  MNN-LLMは、モバイルデバイスへの大規模言語モデルのデプロイを加速するために設計されたフレームワークである。 モデル量子化とDRAM-FlashハイブリッドストレージによるLCMのランタイム特性に対処する。 特に、MNN-LLMは、現在のLLM固有のフレームワークと比較して8.6倍の速度向上を実現している。
  論文  参考訳（メタデータ） (2025-06-12T07:45:29Z)
• MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training [24.066283519769968]
  大規模言語モデル(LLM)は、よりクリエイティブなアプリケーションを促進するために、拡張コンテキスト長を使用して訓練されている。 本稿では,メモリ管理を微粒化するための新しいフレームワークであるMEMOを提案する。 MeMOはMegatron-LMやDeepSpeedと比べて平均1.97倍と1.80倍のMFUを達成している。
  論文  参考訳（メタデータ） (2024-07-16T18:59:49Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。 実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• FedMef: Towards Memory-efficient Federated Dynamic Pruning [42.07105095641134]
  フェデレートラーニング(FL)は、データの機密性を優先しながら、分散トレーニングを促進する。 リソース制約のあるデバイスへのその応用は、ディープラーニングモデルをトレーニングするための計算とメモリリソースの要求が高いため、難しい。 我々は,新しい,メモリ効率の高い動的刈取フレームワークであるFedMefを提案する。
  論文  参考訳（メタデータ） (2024-03-21T13:54:36Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• Pre-gated MoE: An Algorithm-System Co-Design for Fast and Scalable Mixture-of-Expert Inference [23.207326766883405]
  Mixture-of-Experts (MoE)は、計算要求を比例的にスケールアップすることなく、モデルサイズをスケールすることができる。 プレゲートMOEは、スパース専門家活性化の動的性質を緩和する新しいプレゲート機能を用いている。 我々は、Pre-gated MoEが、同じレベルのモデル品質を維持しながら、パフォーマンスを改善し、GPUメモリ消費を減らすことを実証した。
  論文  参考訳（メタデータ） (2023-08-23T11:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。