論文の概要: Fast as CHITA: Neural Network Pruning with Combinatorial Optimization
- arxiv url: http://arxiv.org/abs/2302.14623v1
- Date: Tue, 28 Feb 2023 15:03:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 16:06:52.016110
- Title: Fast as CHITA: Neural Network Pruning with Combinatorial Optimization
- Title（参考訳）: fast as chita: 組合せ最適化によるニューラルネットワークのプルーニング
- Authors: Riade Benbaki, Wenyu Chen, Xiang Meng, Hussein Hazimeh, Natalia
Ponomareva, Zhe Zhao, Rahul Mazumder
- Abstract要約: 本稿では,複数重みの重み付けと重み付けの併用効果を両立する最適化型プルーニングフレームワークを提案する。
我々のアプローチであるCHITAは、古典的なBrain Surgeonフレームワークを拡張し、スピード、メモリ、パフォーマンスを大幅に改善する。
- 参考スコア（独自算出の注目度）: 9.440450886684603
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The sheer size of modern neural networks makes model serving a serious
computational challenge. A popular class of compression techniques overcomes
this challenge by pruning or sparsifying the weights of pretrained networks.
While useful, these techniques often face serious tradeoffs between
computational requirements and compression quality. In this work, we propose a
novel optimization-based pruning framework that considers the combined effect
of pruning (and updating) multiple weights subject to a sparsity constraint.
Our approach, CHITA, extends the classical Optimal Brain Surgeon framework and
results in significant improvements in speed, memory, and performance over
existing optimization-based approaches for network pruning. CHITA's main
workhorse performs combinatorial optimization updates on a memory-friendly
representation of local quadratic approximation(s) of the loss function. On a
standard benchmark of pretrained models and datasets, CHITA leads to
significantly better sparsity-accuracy tradeoffs than competing methods. For
example, for MLPNet with only 2% of the weights retained, our approach improves
the accuracy by 63% relative to the state of the art. Furthermore, when used in
conjunction with fine-tuning SGD steps, our method achieves significant
accuracy gains over the state-of-the-art approaches.
- Abstract（参考訳）: 現代のニューラルネットワークの大きさは、モデルが真剣な計算課題となる。
一般的な圧縮手法のクラスは、事前訓練されたネットワークの重みを刈り取るか、スペーシングすることでこの課題を克服する。
有用ではあるが、これらの技術は計算要求と圧縮品質の間の深刻なトレードオフに直面することが多い。
本研究では,空間的制約を考慮した複数重み付け(および更新)の併用効果を考慮した,新しい最適化型プルーニングフレームワークを提案する。
我々のアプローチであるCHITAは、従来の最適脳サージオンフレームワークを拡張し、既存の最適化に基づくネットワークプルーニングのアプローチよりも、スピード、メモリ、パフォーマンスが大幅に向上した。
チタの主な仕事馬は、損失関数の局所二次近似(s)のメモリフレンドリーな表現について組合せ最適化更新を行う。
事前トレーニングされたモデルとデータセットの標準ベンチマークでは、CHITAは競合するメソッドよりも、スペーサビリティと精度のトレードオフが大幅に向上する。
例えば、重量の2%しか保持していないMPPNetでは、我々の手法は、最先端技術と比較して精度を63%向上させる。
さらに、微調整SGDステップと併用することで、最先端の手法よりも精度の高い手法を実現する。
関連論文リスト
- Joint Pruning and Channel-wise Mixed-Precision Quantization for Efficient Deep Neural Networks [10.229120811024162]
ディープニューラルネットワーク(DNN)は、エッジデバイスへのデプロイメントに重大な課題をもたらす。
この問題に対処する一般的なアプローチは、プルーニングと混合精度量子化である。
そこで本研究では,軽量な勾配探索を用いて共同で適用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-01T08:07:02Z) - ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models [14.310720048047136]
ALPSは,演算子分割法と事前条件付き勾配共役型後処理法を用いて,プルーニング問題に対処する最適化ベースのフレームワークである。
提案手法はベクトル化とGPU並列性を有効利用しながら収束を加速し理論的に保証する新しい手法を取り入れている。
OPT-30Bモデルでは70%の間隔で、ALPSはWikiTextデータセットにおけるテストの難易度を13%削減し、既存の手法と比較してゼロショットベンチマークのパフォーマンスを19%改善した。
論文 参考訳（メタデータ） (2024-06-12T02:57:41Z) - FALCON: FLOP-Aware Combinatorial Optimization for Neural Network Pruning [17.60353530072587]
ネットワークプルーニングは、性能を維持しながら、モデルサイズと計算コストを削減するソリューションを提供する。
現在のプルーニング法のほとんどは、非ゼロパラメータの数を減らし、空間性を改善することに重点を置いている。
本稿では,FALCONを提案する。FALCONは,モデル精度(忠実度),FLOP,スペーサ性制約を考慮に入れた,ネットワークプルーニングを最適化した新しいフレームワークである。
論文 参考訳（メタデータ） (2024-03-11T18:40:47Z) - Post-Training Quantization for Re-parameterization via Coarse & Fine
Weight Splitting [13.270381125055275]
本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。
我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。
例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
論文 参考訳（メタデータ） (2023-12-17T02:31:20Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳（メタデータ） (2022-10-31T09:46:26Z) - Optimal Brain Compression: A Framework for Accurate Post-Training
Quantization and Pruning [29.284147465251685]
重み付けと量子化の両方を統一した環境でカバーする新しい圧縮フレームワークを提案する。
既存のポストトレーニング手法の圧縮精度トレードオフにより, 大幅な改善が期待できることを示す。
論文 参考訳（メタデータ） (2022-08-24T14:33:35Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳（メタデータ） (2021-11-25T19:59:33Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Learning from Images: Proactive Caching with Parallel Convolutional
Neural Networks [94.85780721466816]
本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。
モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。
数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
論文 参考訳（メタデータ） (2021-08-15T21:32:47Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。