論文の概要: Sparser, Faster, Lighter Transformer Language Models

• arxiv url: http://arxiv.org/abs/2603.23198v1
• Date: Tue, 24 Mar 2026 13:43:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.503224
• Title: Sparser, Faster, Lighter Transformer Language Models
• Title（参考訳）: スポーサー、より高速、より軽量なトランスフォーマー言語モデル
• Authors: Edoardo Cetin, Stefano Peluchetti, Emilio Castillo, Akira Naruse, Mana Murakami, Llion Jones,
• Abstract要約: 自己回帰型大規模言語モデル(LLM)のスケーリングは前例のない進歩を遂げているが、膨大な計算コストが伴う。 LLMのフィードフォワード層内の非構造的空間性を活用することで、これらのコストに対処する。 すべてのコードとカーネルをオープンソースライセンスでリリースし、採用を促進するとともに、スパーシティを実践的な軸として確立するための研究を加速します。
• 参考スコア（独自算出の注目度）: 14.129727529605367
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Scaling autoregressive large language models (LLMs) has driven unprecedented progress but comes with vast computational costs. In this work, we tackle these costs by leveraging unstructured sparsity within an LLM's feedforward layers, the components accounting for most of the model parameters and execution FLOPs. To achieve this, we introduce a new sparse packing format and a set of CUDA kernels designed to seamlessly integrate with the optimized execution pipelines of modern GPUs, enabling efficient sparse computation during LLM inference and training. To substantiate our gains, we provide a quantitative study of LLM sparsity, demonstrating that simple L1 regularization can induce over 99% sparsity with negligible impact on downstream performance. When paired with our kernels, we show that these sparsity levels translate into substantial throughput, energy efficiency, and memory usage benefits that increase with model scale. We will release all code and kernels under an open-source license to promote adoption and accelerate research toward establishing sparsity as a practical axis for improving the efficiency and scalability of modern foundation models.
• Abstract（参考訳）: 自己回帰型大規模言語モデル(LLM)のスケーリングは前例のない進歩を遂げているが、膨大な計算コストが伴う。 本研究では,LLMのフィードフォワード層,モデルパラメータの大部分を考慮に入れたコンポーネント,および実行FLOPの非構造的空間性を活用することで,これらのコストに対処する。 そこで我々は,新しいスパースパッキングフォーマットとCUDAカーネルのセットを導入し,最新のGPUの最適化された実行パイプラインとシームレスに統合し,LLM推論とトレーニングの間,効率的なスパース計算を実現する。 以上の結果から,L1正則化が下流性能に悪影響を及ぼすことなく,99%以上の正則化を誘導できることが示唆された。 カーネルと組み合わせると、これらのスパーシリティレベルが、モデルスケールで増大する大幅なスループット、エネルギー効率、メモリ使用率のメリットに変換されることを示す。 すべてのコードとカーネルをオープンソースライセンスでリリースし、採用を促進するとともに、現代の基盤モデルの効率性とスケーラビリティを改善するための実践的な軸として、スパーシティを確立する研究を加速します。

関連論文リスト

• Language Ranker: A Lightweight Ranking framework for LLM Decoding [70.01564145836129]
  本稿では,レコメンデーションパイプラインのランク付け段階に類似した復号過程を概念化する。 この知見に触発されて、我々はLanguage Rankerを提案する。 実験の結果、Language Rankerは大規模報酬モデルに匹敵するパフォーマンスを達成する一方で、0.5Mの追加パラメータしか必要としないことがわかった。
  論文  参考訳（メタデータ） (2025-10-23T17:56:46Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• From Large to Super-Tiny: End-to-End Optimization for Cost-Efficient LLMs [23.253571170594455]
  大規模言語モデル(LLM)は、非常に高度な人工知能を持つ。 本稿では,3段階の低コストエンドツーエンドLCMデプロイメントパイプラインを提案する。 性能が向上し、コストが削減された超小型オンラインモデルを生産する。
  論文  参考訳（メタデータ） (2025-04-18T05:25:22Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Activation Sparsity Opportunities for Compressing General Large Language Models [4.5624217435826]
  この研究は、最先端AIモデルにおけるアクティベーション空間の強制とパープレキシティ(精度)のトレードオフを体系的に調査する。 実験により,重要なFFN成分に対する主記憶の約50%と計算量の削減を無視可能な精度劣化で達成できることが実証された。
  論文  参考訳（メタデータ） (2024-12-13T02:26:54Z)
• eFedLLM: Efficient LLM Inference Based on Federated Learning [1.6179784294541053]
  大言語モデル(LLMs)は人工知能(AI)の転換期を告げる 本稿では, LLM推論の運用効率と費用対効果を高める効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T22:50:02Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• One-Shot Sensitivity-Aware Mixed Sparsity Pruning for Large Language Models [42.95555008229016]
  そこで本研究では, ヘッセン感度を意識した混合疎水性プルーニング法を, 再トレーニングを必要とせず, 最低50%の疎水性まで適用する方法を提案する。 提案手法の利点は, 空間が極めて高い場合にさらに顕著である。
  論文  参考訳（メタデータ） (2023-10-14T05:43:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。