論文の概要: Reservoir of Importance: Learning Semi-Structured Sparsity with Differentiable Subset Sampling
- arxiv url: http://arxiv.org/abs/2608.23048v1
- Date: Mon, 24 Aug 2026 09:54:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.017125
- Title: Reservoir of Importance: Learning Semi-Structured Sparsity with Differentiable Subset Sampling
- Title（参考訳）: 重要度の貯水池:差分サブセットサンプリングによる半構造化空間の学習
- Abstract要約: 半構造化$N$:$M$スパシティは、大規模言語モデル(LLM)を加速するための実践的な方向として登場した。
本稿では,半構造化された軽量プルーニングフレームワークであるReservoir of Importance (RoI)を提案する。
RoIは、強力なメモリ効率、安定性、スケーラビリティで競争力のあるパフォーマンスを実現し、より積極的な$N$:$M$スパシティパターンを実現します。
- 参考スコア（独自算出の注目度）: 6.232269207752904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semi-structured $N$:$M$ sparsity has emerged as a practical direction for accelerating large language models (LLMs). However, existing learnable-mask approaches incur substantial parameter and memory overhead, limiting their scalability to large models and aggressive sparsity regimes. In this work, we revisit semi-structured pruning from a perspective that reconciles efficiency with scalability. We propose Reservoir of Importance (RoI), a lightweight semi-structured pruning framework that learns sparsity masks through differentiable subset sampling. Unlike prior methods that model full categorical distributions over all feasible $N$:$M$ patterns, RoI introduces a compact-logit parameterization for sparsity mask learning and performs sampling without replacement to select masks, thereby reducing trainable parameters from combinatorial complexity to $\mathcal{O}({M})$. As a result, RoI requires 1.5-8.75$\times$ fewer learnable parameters and significantly lower memory cost, while remaining fully aligned with hardware-friendly sparsity patterns. Extensive evaluations across multiple scales of the Qwen2.5 LLM family (0.5-7B parameters) demonstrate that RoI achieves competitive performance with strong memory efficiency, stability, and scalability to more aggressive $N$:$M$ sparsity patterns, offering a practical path toward efficient LLM deployment.
- Abstract（参考訳）: 半構造化$N$:$M$スパシティは、大規模言語モデル(LLM)を加速するための実践的な方向として登場した。
しかし、既存の学習可能なマスクアプローチではパラメータとメモリのオーバーヘッドが大きくなり、スケーラビリティは大規模モデルに制限される。
本稿では,スケーラビリティと効率を両立させる観点から,半構造化プルーニングを再考する。
本稿では,半構造化された軽量プルーニングフレームワークであるReservoir of Importance (RoI)を提案する。
すべての実現可能な$N$:$M$パターンで完全なカテゴリ分布をモデル化する従来の方法とは異なり、RoIはスパーシティマスク学習のためのコンパクトロジットパラメータ化を導入し、選択マスクに置き換えることなくサンプリングを行い、これにより、トレーニング可能なパラメータを組合せ複雑性から$\mathcal{O}({M})$に削減する。
結果として、RoI は 1.5-8.75$\times$ の学習可能なパラメータを減らし、メモリコストを大幅に削減し、ハードウェアフレンドリーなスパーシティパターンに完全に準拠する。
Qwen2.5 LLMファミリ(0.5-7Bパラメータ)の複数のスケールにわたる広範な評価は、RoIが強力なメモリ効率、安定性、スケーラビリティを備えた競争性能を、より積極的な$N$:$M$スパシティパターンに達成し、効率的なLLMデプロイメントへの実践的なパスを提供することを示した。
関連論文リスト
- SILAGE: Memory-Efficient, Full-Gradient-Free Nonconvex Optimization for Nested Finite Sums [51.49970814177172]
データセットに対する経験的リスクは、自然に$N=nm$全サンプルに類似性を示す。
我々は悲観的な収束分析を避ける分析を提供する。
我々の成果は、既存の最先端の体制を改善した。
論文 参考訳（メタデータ） (2026-06-14T14:11:07Z) - LEAP: Learnable End-to-End Adaptive Pruning of Large Language Models [19.274512633962086]
未構造化プルーニングの最先端手法は、最適脳サージオン原理から導かれる階層的なサロゲートである。
本稿では,この難易度パラメータ化をBernoulli-via-Gumbelシグモイド緩和法に置き換えるLEAPを提案する。
0.5Bから8Bパラメータの50%と60%の間隔で5つのLLMファミリーにまたがって、LEAPは6タスク平均ゼロショット精度をADMM平均で2.59ポイント改善する。
論文 参考訳（メタデータ） (2026-05-17T07:01:13Z) - Deterministic Differentiable Structured Pruning for Large Language Models [37.33389749907146]
構造化プルーニングは、重要度の低いアーキテクチャ部品を取り除き、LLM推論コストを削減する。
マスクのみの最適化手法であるDDP(Deterministic Differentiable Pruning)を提案する。
従来のアプローチと比較して、DDPはより表現力が高く、テストミスマッチが減少し、より早く収束する。
論文 参考訳（メタデータ） (2026-03-09T07:59:17Z) - Aligning Distributionally Robust Optimization with Practical Deep Learning Needs [70.87757502315293]
従来のLearning (DL)メソッドはすべてのサンプルを平等に扱うが、DROと現在のDLプラクティスの間には大きなギャップがある。
本稿では,重み付けグループを扱える改良DRO目標に対する適応アルゴリズムを導入することにより,このギャップを埋めることを目的とする。
論文 参考訳（メタデータ） (2025-08-22T18:17:44Z) - MaskPro: Linear-Space Probabilistic Learning for Strict (N:M)-Sparsity on Large Language Models [53.36415620647177]
半構造化された空間は、M$M$の重みからN$の要素を戦略的に保持することで、有望なソリューションを提供する。
既存の(N:M)互換のアプローチは通常、かなりのエラーに悩まされるルールベースの階層的な欲求探索と、禁止的なトレーニングコストを引き起こす勾配駆動学習の2つのカテゴリに分類される。
MaskProという新しい線形空間確率的フレームワークを提案する。これは、M$連続重みごとに事前のカテゴリー分布を学習し、その後、この分布を活用して(N:M)スパーシリティを$N$-wayサンプリングを通じて生成することを目的としている。
論文 参考訳（メタデータ） (2025-06-15T15:02:59Z) - LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。
モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。
深度スケールアップのための新しい学習方法である textbfLESA を提案する。
論文 参考訳（メタデータ） (2025-02-19T14:58:48Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - MoS: Unleashing Parameter Efficiency of Low-Rank Adaptation with Mixture of Shards [35.163843138935455]
大規模言語モデルの迅速なスケーリングには、爆発的なGPUメモリオーバーヘッドを低減するために、より軽量な微調整方法が必要である。
本研究は、純粋な共有による有害な影響を逆転させる上で、差別化が不可欠であることを示す。
本研究では,層間共有と層間共有を併用し,ほぼ費用がかからない4つの差別戦略を統合することで,Shardsの混合(MoS)を提案する。
論文 参考訳（メタデータ） (2024-10-01T07:47:03Z) - Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。
我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。
LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
論文 参考訳（メタデータ） (2024-06-15T09:31:03Z) - RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation [30.797422827190278]
本稿ではロバスト適応法 (RoSA) と呼ばれる新しいPEFT法を提案する。
RoSAは、固定された事前トレーニングされた重みのセットの上に、$textitlow-rank$と$textithighly-sparse$コンポーネントをトレーニングする。
また,RoSAがLoRA,純スパース微調整,代替ハイブリット法を同じパラメータ予算で上回ることを示す。
論文 参考訳（メタデータ） (2024-01-09T17:09:01Z) - Systematic Investigation of Sparse Perturbed Sharpness-Aware
Minimization Optimizer [158.2634766682187]
ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。
SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。
本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
論文 参考訳（メタデータ） (2023-06-30T09:33:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。