論文の概要: Induced Feature Selection by Structured Pruning
- arxiv url: http://arxiv.org/abs/2303.10999v1
- Date: Mon, 20 Mar 2023 10:29:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 15:53:03.995698
- Title: Induced Feature Selection by Structured Pruning
- Title（参考訳）: 構造化プルーニングによる特徴選択
- Authors: Nathan Hubens, Victor Delvigne, Matei Mancas, Bernard Gosselin, Marius
Preda, Titus Zaharia
- Abstract要約: 重みと入力データに間隔を共同で付与することで、さらに一歩前進する。
入力データに対してプルーニングを行うことで、合計パラメータやFLOPのさらなるゲインを達成することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advent of sparsity inducing techniques in neural networks has been of a
great help in the last few years. Indeed, those methods allowed to find lighter
and faster networks, able to perform more efficiently in resource-constrained
environment such as mobile devices or highly requested servers. Such a sparsity
is generally imposed on the weights of neural networks, reducing the footprint
of the architecture. In this work, we go one step further by imposing sparsity
jointly on the weights and on the input data. This can be achieved following a
three-step process: 1) impose a certain structured sparsity on the weights of
the network; 2) track back input features corresponding to zeroed blocks of
weight; 3) remove useless weights and input features and retrain the network.
Performing pruning both on the network and on input data not only allows for
extreme reduction in terms of parameters and operations but can also serve as
an interpretation process. Indeed, with the help of data pruning, we now have
information about which input feature is useful for the network to keep its
performance. Experiments conducted on a variety of architectures and datasets:
MLP validated on MNIST, CIFAR10/100 and ConvNets (VGG16 and ResNet18),
validated on CIFAR10/100 and CALTECH101 respectively, show that it is possible
to achieve additional gains in terms of total parameters and in FLOPs by
performing pruning on input data, while also increasing accuracy.
- Abstract（参考訳）: ニューラルネットワークにおける疎結合誘導技術の出現は、ここ数年で大きな助けとなった。
実際、これらの手法はより軽量で高速なネットワークを見つけることができ、モバイルデバイスや高要求のサーバのようなリソース制約のある環境でより効率的に実行できる。
このような空間性は一般的にニューラルネットワークの重みに課され、アーキテクチャのフットプリントを減少させる。
本研究では,重みと入力データに共同でスパーシティを付与することで,さらに一歩前進する。
これは3段階のプロセスで達成できます。
1) ネットワークの重みに一定の構造的疎度を課す。
2 重量のゼロブロックに対応する逆入力特性を追跡すること。
3) 無駄な重みと入力機能を取り除き、ネットワークを再トレーニングする。
ネットワークと入力データの両方でpruningを実行することで、パラメータと操作の観点で極端に削減できるだけでなく、解釈プロセスとしても機能する。
実際、データプルーニングの助けを借りて、ネットワークがパフォーマンスを維持するのに役立つ入力機能に関する情報が得られました。
MNIST, CIFAR10/100 と ConvNets (VGG16 と ResNet18) で検証され, CIFAR10/100 と CALTECH101 でそれぞれ検証された MLP は, 入力データに対してプルーニングを行うことで, 合計パラメータや FLOP における追加的なゲインを達成可能であることを示す。
関連論文リスト
- Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。
これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
論文 参考訳（メタデータ） (2023-12-03T04:20:02Z) - Neural Network Pruning by Gradient Descent [7.427858344638741]
我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。
ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。
我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
論文 参考訳（メタデータ） (2023-11-21T11:12:03Z) - WeightMom: Learning Sparse Networks using Iterative Momentum-based
pruning [0.0]
本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。
我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
論文 参考訳（メタデータ） (2022-08-11T07:13:59Z) - Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。
FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文 参考訳（メタデータ） (2021-12-18T02:26:38Z) - An Experimental Study of the Impact of Pre-training on the Pruning of a
Convolutional Neural Network [0.0]
近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。
ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。
プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
論文 参考訳（メタデータ） (2021-12-15T16:02:15Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。
提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。
トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
論文 参考訳（メタデータ） (2020-08-24T04:08:48Z) - Principal Component Networks: Parameter Reduction Early in Training [10.14522349959932]
パラメータ化されたネットワークと同じ性能を示す小さなネットワークを見つける方法を示す。
我々はPCAを用いて、層入力の高分散の基盤を見つけ、これらの方向を用いて層重みを表現する。
また、ResNet-20 PCNは、より高速なトレーニングを行いながら、Deep ResNet-110ネットワークより優れていることを示す。
論文 参考訳（メタデータ） (2020-06-23T21:40:24Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。