論文の概要: Pruner-Zero: Evolving Symbolic Pruning Metric from scratch for Large Language Models

• arxiv url: http://arxiv.org/abs/2406.02924v1
• Date: Wed, 5 Jun 2024 04:25:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:59:32.902821
• Title: Pruner-Zero: Evolving Symbolic Pruning Metric from scratch for Large Language Models
• Title（参考訳）: Pruner-Zero:大規模言語モデルのスクラッチからシンボリック・プルーニング・メトリックを進化させる
• Authors: Peijie Dong, Lujun Li, Zhenheng Tang, Xiang Liu, Xinglin Pan, Qiang Wang, Xiaowen Chu,
• Abstract要約: 我々は,遺伝的プログラミングを用いた記号的プルーニング指標の自動検索フレームワークを開発した。 特に、既存のプルーニング指標を含む精巧な探索空間を考案し、潜在的な記号的プルーニング指標を発見する。 このようにして、Pruner-Zeroはシンボリックプルーニングメトリクスの自動生成を可能にする。
• 参考スコア（独自算出の注目度）: 17.36722055338977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the remarkable capabilities, Large Language Models (LLMs) face deployment challenges due to their extensive size. Pruning methods drop a subset of weights to accelerate, but many of them require retraining, which is prohibitively expensive and computationally demanding. Recently, post-training pruning approaches introduced novel metrics, enabling the pruning of LLMs without retraining. However, these metrics require the involvement of human experts and tedious trial and error. To efficiently identify superior pruning metrics, we develop an automatic framework for searching symbolic pruning metrics using genetic programming. In particular, we devise an elaborate search space encompassing the existing pruning metrics to discover the potential symbolic pruning metric. We propose an opposing operation simplification strategy to increase the diversity of the population. In this way, Pruner-Zero allows auto-generation of symbolic pruning metrics. Based on the searched results, we explore the correlation between pruning metrics and performance after pruning and summarize some principles. Extensive experiments on LLaMA and LLaMA-2 on language modeling and zero-shot tasks demonstrate that our Pruner-Zero obtains superior performance than SOTA post-training pruning methods. Code at: \url{https://github.com/pprp/Pruner-Zero}.
• Abstract（参考訳）: 目覚ましい機能にもかかわらず、LLM(Large Language Models)はその大きなサイズのため、デプロイメントの課題に直面している。 プルーニング法は重量のサブセットを減らして加速させるが、その多くは再訓練を必要とする。 近年,再学習を伴わずにLLMを刈り取る手法が提案されている。 しかし、これらのメトリクスは人間の専門家の関与と退屈な試行錯誤を必要とします。 優れたプルーニング指標を効率よく同定するために,遺伝的プログラミングを用いたシンボルプルーニング指標の自動検索フレームワークを開発した。 特に、既存のプルーニング指標を含む精巧な探索空間を考案し、潜在的な記号的プルーニング指標を発見する。 本稿では,人口の多様性を高めるための運用の簡易化戦略を提案する。 このようにして、Pruner-Zeroはシンボリックプルーニングメトリクスの自動生成を可能にする。 検索結果に基づいて, 刈り込み後の刈り出し指標と性能の相関について検討し, いくつかの原理を要約する。 言語モデリングとゼロショットタスクにおけるLLaMAとLLaMA-2の広範囲な実験により,我々のPruner-Zeroは,SOTAポストトレーニングプルーニング法よりも優れた性能が得られることが示された。 コードネームは \url{https://github.com/pprp/Pruner-Zero}。

関連論文リスト

• Enhancing One-shot Pruned Pre-trained Language Models through Sparse-Dense-Sparse Mechanism [25.36736897890854]
  事前学習された言語モデル(PLM)は、文脈理解において堅牢で、様々な自然言語処理タスクにおいて優れた性能を示すように設計されている。 現代のプルーニング戦略では、タスク特化データや一般的なデータの再トレーニングを必要とせずに、PLMを圧縮するためのワンショット技術を採用している。 重み分布最適化の観点から, 刈り取られたPLMの性能を向上させるためのスパース・デンス・スパース・プルーニング・フレームワークであるSDSを提案する。
  論文  参考訳（メタデータ） (2024-08-20T01:05:45Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• ReST-MCTS*: LLM Self-Training via Process Reward Guided Tree Search [50.45155830888697]
  ReST-MCTS*と呼ばれる強化された自己学習手法を開発し、プロセス報酬指導と木探索MCTS*を統合して、高品質な推論トレースを収集し、ポリシーや報酬モデルにステップごとの価値を学習する。 ReST-MCTS* における木探索ポリシーは,Best-of-N や Tree-of-Thought といった従来の LLM 推論ベースラインと比較して,同じ検索予算内で高い精度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-06-06T07:40:00Z)
• DRIVE: Dual Gradient-Based Rapid Iterative Pruning [2.209921757303168]
  現代のディープニューラルネットワーク(DNN)は、数百万のパラメータで構成され、トレーニングと推論中にハイパフォーマンスコンピューティングを必要とする。 学習後推論の合理化に焦点をあてた従来の刈り込み手法は, 訓練前の刈り込みによって早期に疎水性を活用する試みが近年行われている。 創発に固有のランダム性に対処するために,初期エポックに対する濃密なトレーニングを活用するDual Gradient-Based Rapid Iterative Pruning (DRIVE)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T20:44:28Z)
• How to Prune Your Language Model: Recovering Accuracy on the "Sparsity May Cry'' Benchmark [60.72725673114168]
  下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。 そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:11:30Z)
• Fluctuation-based Adaptive Structured Pruning for Large Language Models [44.217363567065]
  FLAP(FLuctuation-based Adaptive Structured Pruning)は、大規模言語モデルのためのトレーニング不要な構造化プルーニングフレームワークである。 ストレージを効果的に削減し、推論速度を向上することで、ハードウェアに優しい。
  論文  参考訳（メタデータ） (2023-12-19T09:23:48Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)
• Aligned Weight Regularizers for Pruning Pretrained Neural Networks [6.000551438232907]
  標準教師付き学習をゼロショット設定と比較した場合, 等級ベースプルーニングにおいて, 明確な性能差があることが示されている。 本稿では,切断ネットワークと未切断ネットワークのユニット間のアライメントを最大化する2つの重み正規化器を提案する。
  論文  参考訳（メタデータ） (2022-04-04T11:06:42Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• FlipOut: Uncovering Redundant Weights via Sign Flipping [0.0]
  そこで本研究では,トレーニング中に重みが作用する0ドル前後の振動を用いて,その正当性を決定する新しいプルーニング法を提案する。 提案手法は,ネットワークが収束する前にプルーニングを行うことができ,チューニングの手間が少なく,ユーザが望むスパシティのレベルを直接的にターゲットすることができる。 各種オブジェクト分類アーキテクチャを用いて実施した本実験は,既存手法と競合し,99.6%以上のスパーシリティレベルの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2020-09-05T20:27:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。