論文の概要: A Directed-Evolution Method for Sparsification and Compression of Neural
Networks with Application to Object Identification and Segmentation and
considerations of optimal quantization using small number of bits
- arxiv url: http://arxiv.org/abs/2206.05859v1
- Date: Sun, 12 Jun 2022 23:49:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 14:57:44.673288
- Title: A Directed-Evolution Method for Sparsification and Compression of Neural
Networks with Application to Object Identification and Segmentation and
considerations of optimal quantization using small number of bits
- Title（参考訳）: ニューラルネットワークのスパース化と圧縮のための有向進化法 : オブジェクト識別とセグメンテーションへの応用と小ビット数を用いた最適量子化の検討
- Authors: Luiz M Franca-Neto
- Abstract要約: この研究は、ニューラルネットワークのスパーシフィケーションのためのDirected-Evolution法を紹介する。
ネットワーク精度に対するパラメータの関連性を直接評価する。
仮にゼロになったときの精度に最小の影響をもたらすパラメータは、実際にはゼロである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work introduces Directed-Evolution (DE) method for sparsification of
neural networks, where the relevance of parameters to the network accuracy is
directly assessed and the parameters that produce the least effect on accuracy
when tentatively zeroed are indeed zeroed. DE method avoids a potentially
combinatorial explosion of all possible candidate sets of parameters to be
zeroed in large networks by mimicking evolution in the natural world. DE uses a
distillation context [5]. In this context, the original network is the teacher
and DE evolves the student neural network to the sparsification goal while
maintaining minimal divergence between teacher and student. After the desired
sparsification level is reached in each layer of the network by DE, a variety
of quantization alternatives are used on the surviving parameters to find the
lowest number of bits for their representation with acceptable loss of
accuracy. A procedure to find optimal distribution of quantization levels in
each sparsified layer is presented. Suitable final lossless encoding of the
surviving quantized parameters is used for the final parameter representation.
DE was used in sample of representative neural networks using MNIST,
FashionMNIST and COCO data sets with progressive larger networks. An 80 classes
YOLOv3 with more than 60 million parameters network trained on COCO dataset
reached 90% sparsification and correctly identifies and segments all objects
identified by the original network with more than 80% confidence using 4bit
parameter quantization. Compression between 40x and 80x. It has not escaped the
authors that techniques from different methods can be nested. Once the best
parameter set for sparsification is identified in a cycle of DE, a decision on
zeroing only a sub-set of those parameters can be made using a combination of
criteria like parameter magnitude and Hessian approximations.
- Abstract（参考訳）: 本研究は,ネットワークの精度に対するパラメータの関連性を直接評価し,仮にゼロになった場合の精度に最も影響を及ぼさないパラメータを実際にゼロにする,ニューラルネットワークのスパーシフィケーションのための有向進化法(de法)を提案する。
DE法は、自然界の進化を模倣して、大きなネットワークでゼロになる可能性のある全てのパラメータの候補集合の組合せ爆発を避ける。
DEは蒸留コンテキスト[5]を使用する。
この文脈では、元のネットワークは教師であり、DECは教師と生徒の最小分散を維持しながら、学生ニューラルネットワークをスパーシフィケーション目標に進化させる。
DEによりネットワークの各層に所望のスパシフィケーションレベルに達した後、生き残ったパラメータに対して様々な量子化代替手段を使用して、許容される精度の損失で表現の最低ビット数を求める。
各スパシファイド層における量子化レベルの最適分布を求める方法を示す。
残余量子化パラメータの適切なロスレス符号化は、最終パラメータ表現に使用される。
DEは、MNIST、FashionMNIST、および進歩的な大規模ネットワークを持つCOCOデータセットを用いて、代表的ニューラルネットワークのサンプルとして使用された。
COCOデータセットでトレーニングされた6000万以上のパラメータを持つ80クラスのYOLOv3は、90%のスパーシフィケーションに達し、4ビットのパラメータ量子化を使用して80%以上の信頼性を持つ元のネットワークで特定されたすべてのオブジェクトを正しく識別し、セグメント化する。
40倍から80倍の圧縮。
異なるメソッドのテクニックをネストできることは、著者らから逃れられていない。
DEのサイクルでスパーシフィケーションのための最良のパラメータセットが特定されると、パラメータ等級とヘッセン近似のような基準の組み合わせを用いて、それらのパラメータのサブセットのみをゼロにする決定を行うことができる。
関連論文リスト
- Learning k-Level Sparse Neural Networks Using a New Generalized Weighted
Group Sparse Envelope Regularization [4.557963624437785]
トレーニング中の非構造化ニューラルネットワークの効率的な手法を提案する。
We use a novel sparse envelope function (SEF) used as a regularizer, called itshape group envelope function (WGSEF)。
この手法により、ハードウェアフレンドリーな構造化された深部ニューラルネットワーク(DNN)がスパースの評価を効率的に高速化する。
論文 参考訳（メタデータ） (2022-12-25T15:40:05Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - A simple approach for quantizing neural networks [7.056222499095849]
完全トレーニングニューラルネットワークの重みを定量化する新しい手法を提案する。
単純な決定論的事前処理のステップにより、メモリレススカラー量子化によってネットワーク層を定量化できます。
提案手法は, ディープ・ネットワークを単一層に連続的に適用することで, 容易に定量化することができる。
論文 参考訳（メタデータ） (2022-09-07T22:36:56Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Efficient Sparse Artificial Neural Networks [11.945854832533232]
この脳は、ANN(Artificial Neural Networks)のインスピレーションの源として、スパース構造に基づいている。
このスパース構造は、脳のエネルギー消費を減らし、より容易に学習し、パターンを他のどのANNよりも一般化するのに役立ちます。
本論文では,ANNにスパース性を導入するための2つの進化的手法を提案する。
論文 参考訳（メタデータ） (2021-03-13T10:03:41Z) - Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。
本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文 参考訳（メタデータ） (2020-09-18T09:13:26Z) - ThriftyNets : Convolutional Neural Networks with Tiny Parameter Budget [4.438259529250529]
我々はThriftyNetと呼ばれる新しい畳み込みニューラルネットワークアーキテクチャを提案する。
ThriftyNetでは、1つの畳み込み層のみが再帰的に定義され、最大パラメータの分解に繋がる。
我々は、CIFAR-10で40K未満のパラメータで91%以上の精度で、CIFAR-100で74.3%のパラメータで600K未満のパラメータで競争性能を達成した。
論文 参考訳（メタデータ） (2020-07-20T13:50:51Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Ensembled sparse-input hierarchical networks for high-dimensional
datasets [8.629912408966145]
サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。
提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。
EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
論文 参考訳（メタデータ） (2020-05-11T02:08:53Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。