論文の概要: Scalable iterative pruning of large language and vision models using block coordinate descent

• arxiv url: http://arxiv.org/abs/2411.17796v1
• Date: Tue, 26 Nov 2024 17:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:27:28.784349
• Title: Scalable iterative pruning of large language and vision models using block coordinate descent
• Title（参考訳）: ブロック座標を用いた大規模言語と視覚モデルのスケーラブル反復プルーニング
• Authors: Gili Rosenberg, J. Kyle Brubaker, Martin J. A. Schuetz, Elton Yechao Zhu, Serdar Kadıoğlu, Sima E. Borujeni, Helmut G. Katzgraber,
• Abstract要約: 重みの一部を除去するプルーニングニューラルネットワークは、しばしば高い精度を維持しながら、少なくとも一定の限界まで、モデルの複雑さを著しく低減する。 本稿では,Y Combinatorial Brain Surgeonに基づくニューラルネットワークのプルーニング手法を提案するが,ネットワーク重みのサブセットに対する最適化問題を反復的,ブロック的に解決する。
• 参考スコア（独自算出の注目度）: 0.31410859223862103
• License:
• Abstract: Pruning neural networks, which involves removing a fraction of their weights, can often maintain high accuracy while significantly reducing model complexity, at least up to a certain limit. We present a neural network pruning technique that builds upon the Combinatorial Brain Surgeon, but solves an optimization problem over a subset of the network weights in an iterative, block-wise manner using block coordinate descent. The iterative, block-based nature of this pruning technique, which we dub ``iterative Combinatorial Brain Surgeon'' (iCBS) allows for scalability to very large models, including large language models (LLMs), that may not be feasible with a one-shot combinatorial optimization approach. When applied to large models like Mistral and DeiT, iCBS achieves higher performance metrics at the same density levels compared to existing pruning methods such as Wanda. This demonstrates the effectiveness of this iterative, block-wise pruning method in compressing and optimizing the performance of large deep learning models, even while optimizing over only a small fraction of the weights. Moreover, our approach allows for a quality-time (or cost) tradeoff that is not available when using a one-shot pruning technique alone. The block-wise formulation of the optimization problem enables the use of hardware accelerators, potentially offsetting the increased computational costs compared to one-shot pruning methods like Wanda. In particular, the optimization problem solved for each block is quantum-amenable in that it could, in principle, be solved by a quantum computer.
• Abstract（参考訳）: 重みの一部を除去するプルーニングニューラルネットワークは、しばしば高い精度を維持しながら、少なくとも一定の限界まで、モデルの複雑さを著しく低減する。 本稿では,Y Combinatorial Brain Surgeonをベースとしたニューラルネットワークプルーニング手法を提案するが,ブロック座標の導出を用いて,ネットワーク重みのサブセットに対する最適化問題を反復的,ブロックワイドに解決する。 iCBS(Therative Combinatorial Brain Surgeon')は,大規模言語モデル(LLM)を含む非常に大規模なモデルへのスケーラビリティを実現するため,一発の組合せ最適化アプローチでは実現不可能な,反復的かつブロックベースの手法である。 MistralやDeiTのような大規模モデルに適用すると、iCBSはWandaのような既存のプルーニング手法と比較して、同じ密度レベルで高いパフォーマンスのメトリクスを達成する。 これは,重みのごく一部だけを最適化しながらも,大規模深層学習モデルの圧縮と最適化において,この反復的ブロックワイドプルーニング法の有効性を示す。 さらに,本手法では,単発プルーニング技術だけでは使用できない品質時間(あるいはコスト)のトレードオフを実現する。 最適化問題のブロックワイドな定式化により、ハードウェアアクセラレータの使用が可能となり、ワンダのようなワンショットプルーニング法と比較して計算コストの増大が相殺される可能性がある。 特に、各ブロックで解かれた最適化問題は、原理上量子コンピュータで解けるように量子平均化可能である。

関連論文リスト

• Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization [0.0]
  重み行列を2つのスパース行列に分解するDouble Sparse Factorization(DSF)を提案する。 提案手法は最先端の結果を達成し,従来のニューラルネットワークのスペーサー化を可能にした。
  論文  参考訳（メタデータ） (2024-09-27T15:48:39Z)
• Self-Improved Learning for Scalable Neural Combinatorial Optimization [15.842155380912002]
  本研究は、ニューラルネットワーク最適化のスケーラビリティを向上させるための新しい自己改善学習(SIL)手法を提案する。 我々は,ラベル付きデータを使わずに大規模問題インスタンス上での直接モデルトレーニングを可能にする,効率的な自己改善機構を開発した。 さらに,計算モデルに対する線形注意複雑化機構を設計し,オーバヘッドの少ない大規模問題インスタンスを効率的に処理する。
  論文  参考訳（メタデータ） (2024-03-28T16:46:53Z)
• SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization [22.888876901031043]
  ニューラルネットワークプルーニングは、大規模で拡張性があり、解釈可能で、一般化可能なモデルを構築するための重要な技術である。 群スパース最適化の非正規化として,既存の微分可能なプルーニング手法がいくつあるかを示す。 我々は、ImageNetとCriteoデータセット上の大規模ニューラルネットワークブロックワイドプルーニングタスクの最先端技術であるSequentialAttention++を提案する。
  論文  参考訳（メタデータ） (2024-02-27T21:42:18Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
  本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。 本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T02:14:42Z)
• Symmetric Tensor Networks for Generative Modeling and Constrained Combinatorial Optimization [72.41480594026815]
  ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。 これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。 本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
  論文  参考訳（メタデータ） (2022-11-16T18:59:54Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
  入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-16T20:43:49Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。