論文の概要: EPTS: Elastic Post-Training Sparsity for Efficient Large Language Model Compression
- arxiv url: http://arxiv.org/abs/2606.25285v1
- Date: Wed, 24 Jun 2026 01:37:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.185241
- Title: EPTS: Elastic Post-Training Sparsity for Efficient Large Language Model Compression
- Title（参考訳）: EPTS: 効率的な大規模言語モデル圧縮のためのElastic Post-Training Sparsity
- Abstract要約: 大規模言語モデルを圧縮するための重要なパラダイムとして、PTS(Post-Training Sparsity)が登場した。
本研究では,多種多様な空間構成におけるロバストな性能を維持することができる単一の弾性モデルを作成するために,EPTS(Elastic Post-Training Sparsity)を提案する。
- 参考スコア（独自算出の注目度）: 8.770333228299288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Post-Training Sparsity (PTS) has emerged as a crucial paradigm for compressing Large Language Models to facilitate efficient deployment on resource-constrained devices. However, existing PTS methodologies are typically confined to Single-Sparsity optimization, necessitating a separate, time-consuming optimization session for each specific sparsity level. This rigid paradigm significantly hinders flexible deployment across diverse hardware scenarios, as adapting to a new sparsity requirement mandates a complete re-optimization process. To address these limitations, we propose Elastic Post-Training Sparsity (EPTS), a unified Multi-Sparsity framework that produces a single elastic model capable of maintaining robust performance across diverse sparsity configurations through a one-shot optimization process. Specifically, we design a Multi-Sparsity Hierarchy LoRA (MS-HiLoRA) mechanism that facilitates knowledge inheritance from low- to high-sparsity groups, effectively mitigating the competition for parameter reconstruction. Furthermore, we introduce a Multi-Sparsity Feature Mixer (MSFM), which significantly enhances the model's adaptability to pruning perturbations by dynamically fusing feature representations of varying sparsity granularities. Extensive experiments on LLaMA and OPT families demonstrate that EPTS achieves competitive performance compared to state-of-the-art methods like SparseGPT and Wanda, while offering significant efficiency gains by enabling multi-scenario deployment from a single optimization. our source code is available at https://github.com/xuke225/EPTS.
- Abstract（参考訳）: PTS(Post-Training Sparsity)は、リソース制約のあるデバイスへの効率的なデプロイを容易にするために、大規模言語モデルを圧縮するための重要なパラダイムとして登場した。
しかしながら、既存の PTS の方法論は、通常、個別のスパーシティの最適化に限られており、特定のスパーシティのレベルごとに別々の時間を要する最適化セッションを必要とする。
この厳格なパラダイムは、さまざまなハードウェアシナリオにまたがる柔軟なデプロイメントを著しく妨げます。
このような制約に対処するため,単一弾力性モデルを生成する統合マルチスパーシティーフレームワークであるElastic Post-Training Sparsity (EPTS)を提案する。
具体的には,マルチスパーシティー階層LoRA(MS-HiLoRA)機構を設計し,低から高スパーシティーグループへの知識継承を容易にし,パラメータ再構成の競争を効果的に緩和する。
さらに,マルチスパーシティー特徴混合器 (MSFM) を導入し, 様々な粒度の特徴表現を動的に融合させることにより, モデルが摂動を抑えるための適応性を著しく向上させる。
LLaMAとOPTファミリの大規模な実験により、EPTSはSparseGPTやWandaのような最先端の手法と比較して、競争力のある性能を実現している。
ソースコードはhttps://github.com/xuke225/EPTS.comで公開されています。
関連論文リスト
- Joint Optimization of Training and Inference in Federated Edge Learning via Constrained Multi-Objective Deep Reinforcement Learning [9.37821062000313]
エッジインテリジェンス(EI)を実現するための有望なパラダイムとしてFederated Edge Learning(FEEL)が登場した。
リソース制約のあるエッジデバイス上でのフェデレーショントレーニングと推論を共同で管理する,オンライン最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-25T14:51:07Z) - New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework [52.69678300445233]
fine-tuning Large Language Models (LLMs) は通常、すべてのモデルパラメータを更新するフルきめ細やかな調整を必要とする。
PEFT(Efficient Fine-Tuning)は、パラメータの小さなサブセットを調整する。
ゼロ次最適化法と1次最適化法を組み合わせて,LLMとPEFTモジュールを共同で更新するハイブリッドファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-04-10T22:39:38Z) - Multi-Paradigm Collaborative Adversarial Attack Against Multi-Modal Large Language Models [67.45032003041399]
本稿では,MLLMに対する敵例の転送可能性を高めるために,MPCAttack(Multi-Paradigm Collaborative Attack)フレームワークを提案する。
MPCOは異なるパラダイム表現の重要性を適応的にバランスさせ、グローバルな最適化を導く。
我々のソリューションは、オープンソースおよびクローズドソースMLLMに対する標的および未ターゲットの攻撃において、常に最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2026-03-05T06:01:26Z) - High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
論文 参考訳（メタデータ） (2026-01-12T13:06:17Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳（メタデータ） (2026-01-12T05:02:48Z) - CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。
CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。
トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
論文 参考訳（メタデータ） (2025-09-24T07:54:01Z) - Building Coding Agents via Entropy-Enhanced Multi-Turn Preference Optimization [13.271737599933147]
本稿では,エントロピー強化フレームワークであるEntroPOを紹介し,既存の優先最適化アルゴリズムをマルチターンツール支援設定に適用する。
EntroPOは、さまざまな家族やサイズのモデル群を微調整することで検証する。
swebenchのリーダーボードでは、オープンウェイトモデルの間で、新しい最先端の結果が確立される。
論文 参考訳（メタデータ） (2025-09-15T20:36:19Z) - ElasticMM: Efficient Multimodal LLMs Serving with Elastic Multimodal Parallelism [9.93378263858092]
マルチモーダル大言語モデル(MLLM)は、特徴抽出器とプロジェクションモジュールを組み込むことで、画像、ビデオ、オーディオを扱う。
現在の密結合のサービスアーキテクチャは、混合要求タイプを区別するのに苦労しています。
本稿では,リソースの不均一性に弾力的に適応する新しいサービスパラダイムであるElastic Multimodal Parallelism(EMP)を紹介する。
論文 参考訳（メタデータ） (2025-07-14T08:53:48Z) - Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。
そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
論文 参考訳（メタデータ） (2025-06-15T05:42:29Z) - AmoebaLLM: Constructing Any-Shape Large Language Models for Efficient and Instant Deployment [13.977849745488339]
AmoebaLLMは任意の形状の大規模言語モデルの即時導出を可能にする新しいフレームワークである。
AmoebaLLMは、様々なプラットフォームやアプリケーションに適した迅速なデプロイメントを著しく促進する。
論文 参考訳（メタデータ） (2024-11-15T22:02:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。