論文の概要: AngelSlim: A more accessible, comprehensive, and efficient toolkit for large model compression
- arxiv url: http://arxiv.org/abs/2602.21233v2
- Date: Thu, 26 Feb 2026 04:50:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-02 07:21:25.668895
- Title: AngelSlim: A more accessible, comprehensive, and efficient toolkit for large model compression
- Title（参考訳）: AngelSlim: 大きなモデル圧縮のための、よりアクセスしやすく、包括的で効率的なツールキット
- Authors: Rui Cen, QiangQiang Hu, Hong Huang, Hong Liu, Song Liu, Xin Luo, Lin Niu, Yifan Tan, Decheng Wu, Linchuan Xie, Rubing Yang, Guanghua Yu, Jianchen Zhu,
- Abstract要約: AngelSlimはTencent Hunyuanチームが開発した、大規模なモデル圧縮のための総合的で汎用的なツールキットである。
量子化、投機的復号化、トークンプルーニング、蒸留など、最先端のアルゴリズムを集約する。
これらの圧縮戦略を低レベルの実装と統合することにより、AngelSlimはアルゴリズム中心の研究とツール支援デプロイメントを可能にする。
- 参考スコア（独自算出の注目度）: 17.374453570006448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This technical report introduces AngelSlim, a comprehensive and versatile toolkit for large model compression developed by the Tencent Hunyuan team. By consolidating cutting-edge algorithms, including quantization, speculative decoding, token pruning, and distillation. AngelSlim provides a unified pipeline that streamlines the transition from model compression to industrial-scale deployment. To facilitate efficient acceleration, we integrate state-of-the-art FP8 and INT8 Post-Training Quantization (PTQ) algorithms alongside pioneering research in ultra-low-bit regimes, featuring HY-1.8B-int2 as the first industrially viable 2-bit large model. Beyond quantization, we propose a training-aligned speculative decoding framework compatible with multimodal architectures and modern inference engines, achieving 1.8x to 2.0x throughput gains without compromising output correctness. Furthermore, we develop a training-free sparse attention framework that reduces Time-to-First-Token (TTFT) in long-context scenarios by decoupling sparse kernels from model architectures through a hybrid of static patterns and dynamic token selection. For multimodal models, AngelSlim incorporates specialized pruning strategies, namely IDPruner for optimizing vision tokens via Maximal Marginal Relevance and Samp for adaptive audio token merging and pruning. By integrating these compression strategies from low-level implementations, AngelSlim enables algorithm-focused research and tool-assisted deployment.
- Abstract（参考訳）: このテクニカルレポートでは、Tencent Hunyuanチームが開発した、大規模モデル圧縮のための包括的で汎用的なツールキットであるAngelSlimを紹介します。
量子化、投機的復号化、トークンプルーニング、蒸留を含む最先端のアルゴリズムを統合する。
AngelSlimは、モデル圧縮から産業規模のデプロイメントへの移行を合理化する統一パイプラインを提供する。
高速加速を実現するため,超低ビット状態における先駆的な研究とともに,最先端のFP8とINT8ポストトレーニング量子化(PTQ)アルゴリズムを統合し,HY-1.8B-int2を最初の産業的に実現可能な2ビット大モデルとする。
量子化以外にも、マルチモーダルアーキテクチャや現代的な推論エンジンと互換性のあるトレーニング整合型投機的復号化フレームワークを提案し、出力の正しさを損なうことなく1.8倍から2.0倍のスループット向上を実現した。
さらに、静的パターンと動的トークン選択のハイブリッドにより、モデルアーキテクチャからスパースカーネルを分離することで、長いコンテキストシナリオでTTFT(Time-to-First-Token)を削減できる訓練不要なスパースアテンションフレームワークを開発する。
マルチモーダルモデルにおいて、AngelSlimは特別なプルーニング戦略(IDPruner)を取り入れており、最大Marginal Relevanceを介して視覚トークンを最適化するためのIDPrunerと、適応型オーディオトークンのマージとプルーニングのためのSampである。
これらの圧縮戦略を低レベルの実装と統合することにより、AngelSlimはアルゴリズム中心の研究とツール支援デプロイメントを可能にする。
関連論文リスト
- Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。
この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。
各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
論文 参考訳（メタデータ） (2025-11-14T06:27:58Z) - Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。
本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。
提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
論文 参考訳（メタデータ） (2025-10-20T16:15:03Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - Integrating Pruning with Quantization for Efficient Deep Neural Networks Compression [0.0]
プルーニングと量子化は、モデルのサイズを減らし、処理速度を向上させるために広く使われている圧縮技術である。
本稿では,類似性に基づくフィルタプルーニングとアダプティブ・パワー・オブ・ツー(APoT)量子化を統合し,高い圧縮効率を実現する2つの手法を提案する。
実験により,提案手法は精度の低下を最小限に抑え,効率的なモデル圧縮を実現することを示す。
論文 参考訳（メタデータ） (2025-09-04T14:17:28Z) - LaCo: Efficient Layer-wise Compression of Visual Tokens for Multimodal Large Language Models [62.240460476785934]
視覚エンコーダの中間層内で効果的なトークン圧縮を実現する新しいフレームワークであるLaCo(Layer-wise Visual Token Compression)を提案する。
LaCoは,1)空間-チャネル変換によって隣接するトークンを体系的にマージするレイヤワイドピクセルシャッフル機構,2)非パラメトリックショートカットを用いた残差学習アーキテクチャ,の2つのコアコンポーネントを導入している。
論文 参考訳（メタデータ） (2025-07-03T03:42:54Z) - LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders [23.70714095931094]
GPU効率の良いリコメンダのための長時間最適化されたtraNsformer。
オフラインのメトリクスとオンラインのA/Bテストでは、一貫して強力なベースラインを上回ります。
論文 参考訳（メタデータ） (2025-05-07T13:54:26Z) - Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。
本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
論文 参考訳（メタデータ） (2025-03-30T14:23:18Z) - Climber: Toward Efficient Scaling Laws for Large Recommendation Models [8.970144942471425]
Climberは2つの相乗的コンポーネントからなる効率的なレコメンデーションフレームワークである。
提案モデルでは,(1)一定因子による時間的複雑性の低減を実現し,シーケンス長によるより効率的なスケーリングを実現するマルチスケールシーケンス抽出,(2)マルチシナリオパターンとマルチビヘイビアパターンに注意分布を適応させる動的温度変調,の2つのコアイノベーションを採用している。
Climberは、中国最大の音楽ストリーミングプラットフォームであるNetease Cloud Musicに、毎日数千万人のユーザーにサービスを提供している。
論文 参考訳（メタデータ） (2025-02-14T03:25:09Z) - SoftLMs: Efficient Adaptive Low-Rank Approximation of Language Models using Soft-Thresholding Mechanism [1.7170348600689374]
本稿では,ソフトしきい値設定機構を用いて各層のランクを動的に決定する新しい圧縮手法を提案する。
本手法は,識別タスクのBERTや生成タスクのGPT2,TinyLlamaなど,注目に基づくアーキテクチャに適用可能である。
実験により,提案手法はエンコーダ/デコーダにおける1.33Xから1.72Xの高速化を実現し,全パラメータの50%削減を実現した。
論文 参考訳（メタデータ） (2024-11-15T19:29:51Z) - Sparsity-guided Network Design for Frame Interpolation [39.828644638174225]
フレームベースアルゴリズムのための圧縮駆動型ネットワーク設計を提案する。
モデルサイズを大幅に削減するために、スパーシリティ誘導最適化によるモデルプルーニングを活用する。
原型AdaCoFの4分の1の大きさで大幅な性能向上を実現しています。
論文 参考訳（メタデータ） (2022-09-09T23:13:25Z) - You Only Compress Once: Towards Effective and Elastic BERT Compression
via Exploit-Explore Stochastic Nature Gradient [88.58536093633167]
既存のモデル圧縮アプローチでは、さまざまなハードウェアデプロイメントに対応するために、さまざまな制約にまたがる再圧縮や微調整が必要となる。
圧縮を一度行い、至るところに展開するための新しいアプローチであるYOCO-BERTを提案する。
最先端のアルゴリズムと比較すると、YOCO-BERTはよりコンパクトなモデルを提供するが、GLUEベンチマークの平均精度は2.1%-4.5%向上している。
論文 参考訳（メタデータ） (2021-06-04T12:17:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。