論文の概要: Automatic Pruning via Structured Lasso with Class-wise Information
- arxiv url: http://arxiv.org/abs/2502.09125v1
- Date: Thu, 13 Feb 2025 10:03:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-14 13:50:02.289877
- Title: Automatic Pruning via Structured Lasso with Class-wise Information
- Title（参考訳）: クラス情報を用いた構造化ラッソによる自動プルーニング
- Authors: Xiang Liu, Mingchen Li, Xia Li, Leigang Qu, Zifan Peng, Yijun Song, Zemin Liu, Linshan Jiang, Jialin Li,
- Abstract要約: 構造化ラッソをインフォメーション・ボトルネック理論から導出し,モデルプルーニングの精度の高いクラス情報を活用する。
我々のアプローチは、広範囲な実験において、3つのデータセットと6つのモデルアーキテクチャにまたがる優れた性能を示す。
- 参考スコア（独自算出の注目度）: 21.801590100174902
- License:
- Abstract: Most pruning methods concentrate on unimportant filters of neural networks. However, they face the loss of statistical information due to a lack of consideration for class-wise data. In this paper, from the perspective of leveraging precise class-wise information for model pruning, we utilize structured lasso with guidance from Information Bottleneck theory. Our approach ensures that statistical information is retained during the pruning process. With these techniques, we introduce two innovative adaptive network pruning schemes: sparse graph-structured lasso pruning with Information Bottleneck (\textbf{sGLP-IB}) and sparse tree-guided lasso pruning with Information Bottleneck (\textbf{sTLP-IB}). The key aspect is pruning model filters using sGLP-IB and sTLP-IB to better capture class-wise relatedness. Compared to multiple state-of-the-art methods, our approaches demonstrate superior performance across three datasets and six model architectures in extensive experiments. For instance, using the VGG16 model on the CIFAR-10 dataset, we achieve a parameter reduction of 85%, a decrease in FLOPs by 61%, and maintain an accuracy of 94.10% (0.14% higher than the original model); we reduce the parameters by 55% with the accuracy at 76.12% using the ResNet architecture on ImageNet (only drops 0.03%). In summary, we successfully reduce model size and computational resource usage while maintaining accuracy. Our codes are at https://anonymous.4open.science/r/IJCAI-8104.
- Abstract（参考訳）: ほとんどのプルーニング法は、ニューラルネットワークの重要でないフィルタに焦点を当てている。
しかし、これらは、分類学的なデータに対する考慮の欠如により、統計情報の喪失に直面している。
本稿では,モデルプルーニングにおける高精度なクラス情報の利用の観点から,構造化ラッソをインフォメーション・ボトルネック理論からのガイダンスで活用する。
本手法は, 刈り込み過程において, 統計情報が保持されることを保証する。
これらの手法により,情報ボトルネック(\textbf{sGLP-IB})と情報ボトルネック(\textbf{sTLP-IB})の2つの革新的な適応型ネットワークプルーニング手法を導入する。
重要な側面は、sGLP-IBとsTLP-IBを使用してモデルフィルタをプルーニングすることで、クラスの関連性をよりよく捉えることである。
複数の最先端手法と比較して、我々の手法は3つのデータセットと6つのモデルアーキテクチャにまたがる優れた性能を広範な実験で示している。
例えば、CIFAR-10データセット上のVGG16モデルを使用することで、パラメータの85%の削減、FLOPの61%の削減、94.10%の精度(元のモデルよりも0.14%高い)を実現しています。
要約すると、精度を維持しながら、モデルのサイズと計算資源の使用量を削減することに成功した。
私たちのコードはhttps://anonymous.4open.science/r/IJCAI-8104です。
関連論文リスト
- Self-Data Distillation for Recovering Quality in Pruned Large Language Models [1.5665059604715017]
ワンショットプルーニングは、特に多段階推論を必要とするタスクにおいて、大幅な品質劣化をもたらす。
品質の低下を回復するために、教師付き微調整(SFT)が一般的に用いられるが、これは破滅的な忘れを招きかねない。
本研究では,これらの課題に対処するために,自己データ蒸留ファインチューニングを利用する。
論文 参考訳（メタデータ） (2024-10-13T19:53:40Z) - Filter Pruning For CNN With Enhanced Linear Representation Redundancy [3.853146967741941]
本稿では,CCM-loss という同一層内の異なる特徴写像の相関行列から計算したデータ駆動損失関数の項を示す。
CCM-lossは、L*-ノルム正規化以外に、別の普遍的超越数学的ツールを提供する。
新しい戦略では、主にネットワーク内の情報フローの整合性と整合性に注目します。
論文 参考訳（メタデータ） (2023-10-10T06:27:30Z) - Integral Continual Learning Along the Tangent Vector Field of Tasks [112.02761912526734]
本稿では,特殊データセットからの情報を段階的に組み込んだ軽量連続学習手法を提案する。
ソースデータセットの0.4%まで小さく、小さな固定サイズのメモリバッファを保持しており、単純な再サンプリングによって更新される。
提案手法は,異なるデータセットに対して,様々なバッファサイズで高い性能を実現する。
論文 参考訳（メタデータ） (2022-11-23T16:49:26Z) - Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳（メタデータ） (2022-09-07T01:12:11Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - Automatic Neural Network Pruning that Efficiently Preserves the Model
Accuracy [2.538209532048867]
プルーニングフィルタは一般的な解であるが、既存のプルーニング法ではモデルの精度を効率的に保たない。
本研究では,FLOPを予め定義された目標に還元しつつ,モデル精度を維持するためにどのニューロンを保存すべきかを学習する自動プルーニング手法を提案する。
ResNet-50では52.00%のFLOPが減少し,prun処理後のTop-1精度は47.51%,微細加工後のSOTA精度は76.63%であった。
論文 参考訳（メタデータ） (2021-11-18T11:29:35Z) - A contextual analysis of multi-layer perceptron models in classifying
hand-written digits and letters: limited resources [0.0]
我々は,前処理や特徴抽出を行わずに,終端から終端までのバニラニューラルネットワーク(MLP)アプローチを純粋に検証した。
基礎的なデータマイニング操作は,計算時間の観点からモデルの性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2021-07-05T04:30:37Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - Model Pruning Based on Quantified Similarity of Feature Maps [5.271060872578571]
3次元テンソルに冗長な情報を見つけるための新しい理論を提案する。
この理論を畳み込みニューラルネットワークを駆使して推論速度を向上させる。
論文 参考訳（メタデータ） (2021-05-13T02:57:30Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳（メタデータ） (2021-01-20T06:18:38Z) - Filter Sketch for Network Pruning [184.41079868885265]
事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。
われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。
CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
論文 参考訳（メタデータ） (2020-01-23T13:57:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。