論文の概要: One-for-All Pruning: A Universal Model for Customized Compression of Large Language Models

• arxiv url: http://arxiv.org/abs/2505.12216v2
• Date: Sun, 25 May 2025 06:23:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:55.048009
• Title: One-for-All Pruning: A Universal Model for Customized Compression of Large Language Models
• Title（参考訳）: ワン・フォー・オール・プルーニング:大規模言語モデルのカスタマイズ圧縮のためのユニバーサルモデル
• Authors: Rongguang Ye, Ming Tang,
• Abstract要約: 既存の大規模言語モデル(LLM)のプルーニング手法は、モデル性能を維持しながら高い圧縮率を達成することに重点を置いている。 本研究では,LLMのためのUniversal Model for Customized Compression (UniCuCo)を提案する。 ベースラインに匹敵する精度を維持しつつ,64要求を処理する場合,UniCuCoはベースラインよりも28倍高速であることを示す。
• 参考スコア（独自算出の注目度）: 6.6763659758988885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing pruning methods for large language models (LLMs) focus on achieving high compression rates while maintaining model performance. Although these methods have demonstrated satisfactory performance in handling a single user's compression request, their processing time increases linearly with the number of requests, making them inefficient for real-world scenarios with multiple simultaneous requests. To address this limitation, we propose a Univeral Model for Customized Compression (UniCuCo) for LLMs, which introduces a StratNet that learns to map arbitrary requests to their optimal pruning strategy. The challenge in training StratNet lies in the high computational cost of evaluating pruning strategies and the non-differentiable nature of the pruning process, which hinders gradient backpropagation for StratNet updates. To overcome these challenges, we leverage a Gaussian process to approximate the evaluation process. Since the gradient of the Gaussian process is computable, we can use it to approximate the gradient of the non-differentiable pruning process, thereby enabling StratNet updates. Experimental results show that UniCuCo is 28 times faster than baselines in processing 64 requests, while maintaining comparable accuracy to baselines.
• Abstract（参考訳）: 既存の大規模言語モデル(LLM)のプルーニング手法は、モデル性能を維持しながら高い圧縮率を達成することに重点を置いている。 これらの手法は、単一ユーザの圧縮要求を処理する上で十分な性能を示したが、その処理時間は要求数とともに線形に増加し、複数の同時要求を持つ実世界のシナリオでは効率が悪くなる。 この制限に対処するため,LLMのためのUniversal Model for Customized Compression (UniCuCo)を提案する。 StratNetのトレーニングにおける課題は、プルーニング戦略を評価するための高い計算コストと、プルーニングプロセスの非微分性にある。 これらの課題を克服するために、ガウス過程を利用して評価過程を近似する。 ガウス過程の勾配は計算可能であるので、微分不可能なプルーニング過程の勾配を近似し、ストラットネットの更新を可能にすることができる。 実験の結果,UniCuCoは64リクエスト処理のベースラインよりも28倍高速であり,ベースラインに匹敵する精度を維持していることがわかった。

関連論文リスト

• Progressive Binarization with Semi-Structured Pruning for LLMs [36.32239429974179]
  大規模言語モデル(LLM)は自然言語処理タスクにおいて顕著な成功を収めた。 彼らの高い計算量とメモリ要求は、リソース制約のあるデバイスへのデプロイに困難をもたらす。 LLM圧縮のための半構造化プルーニング(PBS$2$P)法によるプログレッシブバイナリ化を提案する。
  論文  参考訳（メタデータ） (2025-02-03T13:30:29Z)
• You Only Prune Once: Designing Calibration-Free Model Compression With Policy Learning [20.62274005080048]
  PruneNetは、ポリシー学習プロセスとしてモデルプルーニングを再構成する新しいモデル圧縮手法である。 LLaMA-2-7Bモデルはわずか15分で圧縮でき、ゼロショット性能の80%以上を維持できる。 複雑なマルチタスク言語理解タスクでは、PruneNetはオリジナルのモデルの80%のパフォーマンスを維持することで、その堅牢性を実証している。
  論文  参考訳（メタデータ） (2025-01-25T18:26:39Z)
• RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
  RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
  論文  参考訳（メタデータ） (2024-11-10T13:35:10Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• COPS: Controlled Pruning Before Training Starts [68.8204255655161]
  最先端のディープニューラルネットワーク(DNN)プルーニング技術は、トレーニング開始前にワンショットで適用され、プルーニングスコアと呼ばれる単一の基準の助けを借りてスパースアーキテクチャを評価する。 この作業では、単一プルーニング基準に集中するのではなく、任意のGASを組み合わせてより強力なプルーニング戦略を構築するためのフレームワークを提供します。
  論文  参考訳（メタデータ） (2021-07-27T08:48:01Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。