論文の概要: Pivoting Factorization: A Compact Meta Low-Rank Representation of Sparsity for Efficient Inference in Large Language Models

• arxiv url: http://arxiv.org/abs/2501.19090v1
• Date: Fri, 31 Jan 2025 12:36:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:15.986082
• Title: Pivoting Factorization: A Compact Meta Low-Rank Representation of Sparsity for Efficient Inference in Large Language Models
• Title（参考訳）: Pivoting Factorization:大規模言語モデルにおける効率的な推論のためのスポーシティのコンパクトなメタ低ランク表現
• Authors: Jialin Zhao, Yingtao Zhang, Carlo Vittorio Cannistraci,
• Abstract要約: 本稿では,任意の低ランク表現のコンパクトな形式を教師なしで学習する,新しい低ランク表現であるPivoting Factorization(PIFA)を提案する。 低ランクプルーニングによる性能劣化を軽減するため,リトレーニング不要な新しい低ランク再構築手法を提案する。 MPIFAは、既存の低ランクプルーニング法を著しく上回り、半構造化プルーニングに匹敵する性能を初めて達成した。
• 参考スコア（独自算出の注目度）: 1.6385815610837167
• License:
• Abstract: The rapid growth of Large Language Models has driven demand for effective model compression techniques to reduce memory and computation costs. Low-rank pruning has gained attention for its tensor coherence and GPU compatibility across all densities. However, low-rank pruning has struggled to match the performance of semi-structured pruning, often doubling perplexity (PPL) at similar densities. In this paper, we propose Pivoting Factorization (PIFA), a novel lossless meta low-rank representation that unsupervisedly learns a compact form of any low-rank representation, effectively eliminating redundant information. PIFA identifies pivot rows (linearly independent rows) and expresses non-pivot rows as linear combinations, achieving an additional 24.2\% memory savings and 24.6\% faster inference over low-rank layers at r/d = 0.5, thereby significantly enhancing performance at the same density. To mitigate the performance degradation caused by low-rank pruning, we introduce a novel, retraining-free low-rank reconstruction method that minimizes error accumulation (M). MPIFA, combining M and PIFA into an end-to-end framework, significantly outperforms existing low-rank pruning methods and, for the first time, achieves performance comparable to semi-structured pruning, while surpassing it in GPU efficiency and compatibility.
• Abstract（参考訳）: 大規模言語モデルの急速な成長により、メモリと計算コストを削減する効果的なモデル圧縮技術への需要が高まった。 低ランクプルーニングは、テンソルのコヒーレンスとGPUとの互換性がすべての密度にわたって注目されている。 しかし、低ランクプルーニングは半構造化プルーニングの性能に匹敵し、しばしば同様の密度でパープレキシティ(PPL)を倍増させる。 本稿では,任意の低ランク表現のコンパクトな形式を教師なしで学習し,冗長な情報を効果的に排除する,新しいロスレスメタローランク表現であるPivoting Factorization (PIFA)を提案する。 PIFAはピボット列(線形独立行)を特定し、非ピボット列を線形結合として表現し、r/d = 0.5での低ランク層に対する24.2\%のメモリ節約と24.6\%の高速推論を実現し、同じ密度での性能を著しく向上させる。 低ランクプルーニングによる性能劣化を軽減するため,エラー蓄積を最小限に抑える新しいリトレーニングフリーな低ランク再構築手法を提案する。 MPIFAは、MとPIFAをエンドツーエンドのフレームワークに組み合わせ、既存の低ランクプルーニング手法を著しく上回り、GPU効率と互換性を上回りながら、半構造化プルーニングに匹敵するパフォーマンスを達成する。

関連論文リスト

• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• A Convex-optimization-based Layer-wise Post-training Pruner for Large Language Models [24.185245582500876]
  本稿では,凸最適化モデルとアルゴリズムに基づく最初のポストトレーニングプルーナであるFISTAPrunerを紹介する。 FISTAPrunerは層内累積誤差補正機構を搭載し、並列プルーニングをサポートする。 OPT, LLaMA, LLaMA-2, LLaMA-3 などのモデルにおける FISTAPruner の評価を行った。
  論文  参考訳（メタデータ） (2024-08-07T12:33:46Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models [53.638791265113625]
  空間保存型大規模言語モデルのための効率的な微調整法 コードはhttps://github.com/Lucky-Lance/SPP.comで公開される。
  論文  参考訳（メタデータ） (2024-05-25T04:55:27Z)
• LD-Pruner: Efficient Pruning of Latent Diffusion Models using Task-Agnostic Insights [2.8461446020965435]
  本稿では,遅延拡散モデル圧縮のための新しい性能保存型構造化プルーニング手法であるLD-Prunerを紹介する。 我々は,テキスト・トゥ・イメージ(T2I)生成,無条件画像生成(UIG),無条件音声生成(UAG)の3つのタスクに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-18T06:35:37Z)
• Sparse Model Soups: A Recipe for Improved Pruning via Model Averaging [24.64264715041198]
  Sparse Model Soups (SMS) は,各プルー・リトレインサイクルを前フェーズから平均モデルに開始することでスパースモデルをマージする新しい手法である。 SMSはスパース性を保ち、スパースネットワークの利点を悪用し、モジュール化され、完全に並列化可能であり、IMPのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2023-06-29T08:49:41Z)
• Low-Rank Prune-And-Factorize for Language Model Compression [18.088550230146247]
  マトリックスの分解は、中程度から高い圧縮速度で良好な性能を維持することができない。 スパシティ対応SVDとミックスランクファインチューニングの2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-06-25T07:38:43Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。