論文の概要: Pruner-Zero: Evolving Symbolic Pruning Metric from scratch for Large Language Models

• arxiv url: http://arxiv.org/abs/2406.02924v1
• Date: Wed, 5 Jun 2024 04:25:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:59:32.902821
• Title: Pruner-Zero: Evolving Symbolic Pruning Metric from scratch for Large Language Models
• Title（参考訳）: Pruner-Zero:大規模言語モデルのスクラッチからシンボリック・プルーニング・メトリックを進化させる
• Authors: Peijie Dong, Lujun Li, Zhenheng Tang, Xiang Liu, Xinglin Pan, Qiang Wang, Xiaowen Chu,
• Abstract要約: 我々は,遺伝的プログラミングを用いた記号的プルーニング指標の自動検索フレームワークを開発した。 特に、既存のプルーニング指標を含む精巧な探索空間を考案し、潜在的な記号的プルーニング指標を発見する。 このようにして、Pruner-Zeroはシンボリックプルーニングメトリクスの自動生成を可能にする。
• 参考スコア（独自算出の注目度）: 17.36722055338977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the remarkable capabilities, Large Language Models (LLMs) face deployment challenges due to their extensive size. Pruning methods drop a subset of weights to accelerate, but many of them require retraining, which is prohibitively expensive and computationally demanding. Recently, post-training pruning approaches introduced novel metrics, enabling the pruning of LLMs without retraining. However, these metrics require the involvement of human experts and tedious trial and error. To efficiently identify superior pruning metrics, we develop an automatic framework for searching symbolic pruning metrics using genetic programming. In particular, we devise an elaborate search space encompassing the existing pruning metrics to discover the potential symbolic pruning metric. We propose an opposing operation simplification strategy to increase the diversity of the population. In this way, Pruner-Zero allows auto-generation of symbolic pruning metrics. Based on the searched results, we explore the correlation between pruning metrics and performance after pruning and summarize some principles. Extensive experiments on LLaMA and LLaMA-2 on language modeling and zero-shot tasks demonstrate that our Pruner-Zero obtains superior performance than SOTA post-training pruning methods. Code at: \url{https://github.com/pprp/Pruner-Zero}.
• Abstract（参考訳）: 目覚ましい機能にもかかわらず、LLM(Large Language Models)はその大きなサイズのため、デプロイメントの課題に直面している。 プルーニング法は重量のサブセットを減らして加速させるが、その多くは再訓練を必要とする。 近年,再学習を伴わずにLLMを刈り取る手法が提案されている。 しかし、これらのメトリクスは人間の専門家の関与と退屈な試行錯誤を必要とします。 優れたプルーニング指標を効率よく同定するために,遺伝的プログラミングを用いたシンボルプルーニング指標の自動検索フレームワークを開発した。 特に、既存のプルーニング指標を含む精巧な探索空間を考案し、潜在的な記号的プルーニング指標を発見する。 本稿では,人口の多様性を高めるための運用の簡易化戦略を提案する。 このようにして、Pruner-Zeroはシンボリックプルーニングメトリクスの自動生成を可能にする。 検索結果に基づいて, 刈り込み後の刈り出し指標と性能の相関について検討し, いくつかの原理を要約する。 言語モデリングとゼロショットタスクにおけるLLaMAとLLaMA-2の広範囲な実験により,我々のPruner-Zeroは,SOTAポストトレーニングプルーニング法よりも優れた性能が得られることが示された。 コードネームは \url{https://github.com/pprp/Pruner-Zero}。

関連論文リスト

• Towards Efficient Automatic Self-Pruning of Large Language Models [55.90119819642064]
  トレーニング後の構造化プルーニングは、トレーニングを必要とせずに大規模言語モデルを熟成する有望なソリューションである。 この問題を緩和する鍵は、各レイヤのプルーニング率を正確に決定することにある、と我々は主張する。 我々は、レイヤワイドプルーニングレートを効率的に検索するLLMのためのエンドツーエンドの自動自動プルーニングフレームワークである$textbfSelf-Prunerを紹介した。
  論文  参考訳（メタデータ） (2025-02-20T09:59:50Z)
• DarwinLM: Evolutionary Structured Pruning of Large Language Models [49.55509443720372]
  本研究では,シズナ (sysname) を提案する。 sysnameはShearedLlamaを上回り、圧縮後のトレーニング中にトレーニングデータを5ドル以下で提供する。
  論文  参考訳（メタデータ） (2025-02-11T18:59:35Z)
• Adapt-Pruner: Adaptive Structural Pruning for Efficient Small Language Model Training [27.857935426067076]
  スモール言語モデル (SLM) はエッジデバイスにおける幅広い応用のために注目されている。 高い性能を持つSLMを得るには、計算コストがかなりかかるスクラッチからモデルを事前訓練するか、既存の大規模言語モデル(LLM)を圧縮し、事前訓練に比べて性能が低下し低下する。 1) レイヤーワイド適応プルーニング (Adapt-Pruner) は, LLM において極めて有効であり, 既存のプルーニング技術よりも顕著な改善が得られ, 2) さらなるトレーニングを施した適応プルーニングは, スクラッチから事前学習したプルーニングに匹敵するモデルとなる。
  論文  参考訳（メタデータ） (2025-02-05T18:57:40Z)
• Enhancing One-shot Pruned Pre-trained Language Models through Sparse-Dense-Sparse Mechanism [25.36736897890854]
  事前学習された言語モデル(PLM)は、文脈理解において堅牢で、様々な自然言語処理タスクにおいて優れた性能を示すように設計されている。 現代のプルーニング戦略では、タスク特化データや一般的なデータの再トレーニングを必要とせずに、PLMを圧縮するためのワンショット技術を採用している。 重み分布最適化の観点から, 刈り取られたPLMの性能を向上させるためのスパース・デンス・スパース・プルーニング・フレームワークであるSDSを提案する。
  論文  参考訳（メタデータ） (2024-08-20T01:05:45Z)
• How to Prune Your Language Model: Recovering Accuracy on the "Sparsity May Cry'' Benchmark [60.72725673114168]
  下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。 そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:11:30Z)
• Fluctuation-based Adaptive Structured Pruning for Large Language Models [44.217363567065]
  FLAP(FLuctuation-based Adaptive Structured Pruning)は、大規模言語モデルのためのトレーニング不要な構造化プルーニングフレームワークである。 ストレージを効果的に削減し、推論速度を向上することで、ハードウェアに優しい。
  論文  参考訳（メタデータ） (2023-12-19T09:23:48Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)
• Aligned Weight Regularizers for Pruning Pretrained Neural Networks [6.000551438232907]
  標準教師付き学習をゼロショット設定と比較した場合, 等級ベースプルーニングにおいて, 明確な性能差があることが示されている。 本稿では,切断ネットワークと未切断ネットワークのユニット間のアライメントを最大化する2つの重み正規化器を提案する。
  論文  参考訳（メタデータ） (2022-04-04T11:06:42Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。