論文の概要: Learning Structured Sparsity for Large Models: Bridging Model Compressibility and Efficient Inference
- arxiv url: http://arxiv.org/abs/2610.31897v1
- Date: Thu, 22 Oct 2026 20:49:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.289457
- Title: Learning Structured Sparsity for Large Models: Bridging Model Compressibility and Efficient Inference
- Title(参考訳): 大規模モデルのための構造化空間学習:ブリッジモデル圧縮性と効率的な推論
- Abstract要約: S-SALAAD(S-SALAAD)は、トレーニング中にモデルウェイトとそれらの低ランクで構造化されたスパースコンポーネントを共同で学習する統合フレームワークである。
この構造学習には、予算対応の圧縮と、学習した構造を利用したアクセラレーションを利用する専用CPUとGPUカーネルが組み合わされている。
- 参考スコア(独自算出の注目度): 27.645059898574406
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scaling laws continue to reward increases in model scale, while the resulting computational and memory demands drive greater reliance on cloud infrastructure for inference. Yet unreliable network connectivity, communication delays, and privacy requirements can make such reliance impractical, motivating local execution on edge devices. Local deployment requires models to fit within limited memory and execute efficiently with the available computational resources. Recent work has shown that learning sparse-plus-low-rank representations enables elastic compression of a single checkpoint to multiple memory budgets. However, fewer parameters do not necessarily translate into faster inference. Indexing overhead and irregular memory access in unstructured sparse components can offset computational savings. To address this critical deployment barrier, we introduce S-SALAAD, a unified framework that jointly learns the model weights and their low-rank and structured sparse components during training. The framework supports a family of hardware-compatible structured sparsity patterns. It couples this structure learning with budget-aware compression and dedicated CPU and GPU kernels that exploit the learned structure for acceleration, enabling efficient inference from a single checkpoint across memory budgets. Experiments on Llama2 and Qwen3 models, covering both pretraining and distillation, show that S-SALAAD advances the empirical Pareto frontier in perplexity, memory, and inference latency across multiple hardware platforms relative to the evaluated baselines. These results show that structured learning can translate elastic compressibility into reduced memory requirements and lower inference latency, enabling practical deployment of large models on edge devices.
- Abstract(参考訳): スケーリング法則はモデルスケールの増加に報いる一方で、計算とメモリの要求の結果、推論に対するクラウドインフラストラクチャへの依存度が向上する。
しかし、信頼性の低いネットワーク接続、通信遅延、プライバシ要件は、そのような非現実的であり、エッジデバイス上でのローカル実行を動機付けます。
ローカルデプロイメントでは、限られたメモリに収まり、利用可能な計算リソースで効率的に実行するモデルが必要である。
近年の研究では、スパース・アンド・ローランク表現の学習により、複数のメモリ予算に対する単一のチェックポイントの弾性圧縮が可能であることが示されている。
しかし、より高速な推論に変換されるパラメータは少ない。
未構造化のスパースコンポーネントにおけるオーバーヘッドと不規則なメモリアクセスのインデックス化は、計算の節約を相殺することができる。
この重要なデプロイメント障壁に対処するために、トレーニング中にモデルウェイトとその低ランクで構造化されたスパースコンポーネントを共同で学習する統合フレームワークであるS-SALAADを紹介します。
このフレームワークは、ハードウェア互換の構造化スパーシティパターンのファミリをサポートする。
この構造学習と、メモリ予算をまたいだ単一のチェックポイントからの効率的な推論を可能にする、予算対応の圧縮と、学習した構造を利用したアクセラレーションのためのCPUとGPUカーネルを結合する。
プレトレーニングと蒸留の両方をカバーするLlama2とQwen3モデルの実験により、S-SALAADは、評価されたベースラインに対して複数のハードウェアプラットフォームにまたがる複雑度、メモリ、推論遅延において、経験的なParetoフロンティアを前進させることを示した。
これらの結果から, 構造化学習は, 弾性圧縮性をメモリ要求の低減と推論遅延の低減に変換し, エッジデバイスに大規模モデルを実用的に展開できることが示唆された。
関連論文リスト
- Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。
NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。
我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
論文 参考訳(メタデータ) (2025-09-22T15:13:14Z) - Runtime Adaptive Pruning for LLM Inference [7.5252252615137225]
我々は、強化学習(RL)によって駆動される弾力的な刈り取りフレームワークであるRAPを提案する。
RAPは、実際の実行におけるモデルパラメータとKV-cacheの進化率を追跡する。
RAPは最先端のベースラインよりも優れており、モデル重量とKVcacheを同時に検討するのは初めてである。
論文 参考訳(メタデータ) (2025-05-22T06:12:42Z) - Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。
本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。
モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
論文 参考訳(メタデータ) (2025-02-11T05:40:52Z) - Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity [39.483346492111515]
線形リカレントニューラルネットワークは、推論中に一定のメモリ使用量と時間毎の時間を含む強力な長距離シーケンスモデリングを可能にする。
非構造化空間は、互換性のあるハードウェアプラットフォームによって加速されるときに、計算とメモリの要求を大幅に削減できる魅力的なソリューションを提供する。
非常に疎い線形RNNは、高密度ベースラインよりも高い効率と性能のトレードオフを一貫して達成している。
論文 参考訳(メタデータ) (2025-02-03T13:09:21Z) - Scalable Federated Unlearning via Isolated and Coded Sharding [76.12847512410767]
フェデレートされたアンラーニングは、クライアントレベルのデータエフェクトを削除するための有望なパラダイムとして登場した。
本稿では,分散シャーディングと符号化コンピューティングに基づく,スケーラブルなフェデレーション・アンラーニング・フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-29T08:41:45Z) - Federated Learning over Hierarchical Wireless Networks: Training Latency Minimization via Submodel Partitioning [15.311309249848739]
階層型独立サブモデルトレーニング(Hierarchical independent submodel training、HIST)は、階層型クラウド-エッジ-クライアントネットワークにおけるこれらの問題に対処することを目的とした新しいFL方法論である。
本研究では,HISTを空気上計算(AirComp)で拡張することにより,エッジセル上でのモデルアグリゲーションの効率をより高めることができることを示す。
論文 参考訳(メタデータ) (2023-10-27T04:42:59Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - Generalized Latency Performance Estimation for Once-For-All Neural
Architecture Search [0.0]
特定のハードウェアとNAS検索空間で訓練されたベースモデルを用いた微調整を含む2つの汎用性戦略を紹介します。
ProxylessNASに比べて50%以上低いRMSE損失を達成できる待ち時間予測モデル群を提供する。
論文 参考訳(メタデータ) (2021-01-04T00:48:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。