論文の概要: A Directed-Evolution Method for Sparsification and Compression of Neural Networks with Application to Object Identification and Segmentation and considerations of optimal quantization using small number of bits

• arxiv url: http://arxiv.org/abs/2206.05859v1
• Date: Sun, 12 Jun 2022 23:49:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 14:57:44.673288
• Title: A Directed-Evolution Method for Sparsification and Compression of Neural Networks with Application to Object Identification and Segmentation and considerations of optimal quantization using small number of bits
• Title（参考訳）: ニューラルネットワークのスパース化と圧縮のための有向進化法 : オブジェクト識別とセグメンテーションへの応用と小ビット数を用いた最適量子化の検討
• Authors: Luiz M Franca-Neto
• Abstract要約: この研究は、ニューラルネットワークのスパーシフィケーションのためのDirected-Evolution法を紹介する。 ネットワーク精度に対するパラメータの関連性を直接評価する。 仮にゼロになったときの精度に最小の影響をもたらすパラメータは、実際にはゼロである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work introduces Directed-Evolution (DE) method for sparsification of neural networks, where the relevance of parameters to the network accuracy is directly assessed and the parameters that produce the least effect on accuracy when tentatively zeroed are indeed zeroed. DE method avoids a potentially combinatorial explosion of all possible candidate sets of parameters to be zeroed in large networks by mimicking evolution in the natural world. DE uses a distillation context [5]. In this context, the original network is the teacher and DE evolves the student neural network to the sparsification goal while maintaining minimal divergence between teacher and student. After the desired sparsification level is reached in each layer of the network by DE, a variety of quantization alternatives are used on the surviving parameters to find the lowest number of bits for their representation with acceptable loss of accuracy. A procedure to find optimal distribution of quantization levels in each sparsified layer is presented. Suitable final lossless encoding of the surviving quantized parameters is used for the final parameter representation. DE was used in sample of representative neural networks using MNIST, FashionMNIST and COCO data sets with progressive larger networks. An 80 classes YOLOv3 with more than 60 million parameters network trained on COCO dataset reached 90% sparsification and correctly identifies and segments all objects identified by the original network with more than 80% confidence using 4bit parameter quantization. Compression between 40x and 80x. It has not escaped the authors that techniques from different methods can be nested. Once the best parameter set for sparsification is identified in a cycle of DE, a decision on zeroing only a sub-set of those parameters can be made using a combination of criteria like parameter magnitude and Hessian approximations.
• Abstract（参考訳）: 本研究は,ネットワークの精度に対するパラメータの関連性を直接評価し,仮にゼロになった場合の精度に最も影響を及ぼさないパラメータを実際にゼロにする,ニューラルネットワークのスパーシフィケーションのための有向進化法(de法)を提案する。 DE法は、自然界の進化を模倣して、大きなネットワークでゼロになる可能性のある全てのパラメータの候補集合の組合せ爆発を避ける。 DEは蒸留コンテキスト[5]を使用する。 この文脈では、元のネットワークは教師であり、DECは教師と生徒の最小分散を維持しながら、学生ニューラルネットワークをスパーシフィケーション目標に進化させる。 DEによりネットワークの各層に所望のスパシフィケーションレベルに達した後、生き残ったパラメータに対して様々な量子化代替手段を使用して、許容される精度の損失で表現の最低ビット数を求める。 各スパシファイド層における量子化レベルの最適分布を求める方法を示す。 残余量子化パラメータの適切なロスレス符号化は、最終パラメータ表現に使用される。 DEは、MNIST、FashionMNIST、および進歩的な大規模ネットワークを持つCOCOデータセットを用いて、代表的ニューラルネットワークのサンプルとして使用された。 COCOデータセットでトレーニングされた6000万以上のパラメータを持つ80クラスのYOLOv3は、90%のスパーシフィケーションに達し、4ビットのパラメータ量子化を使用して80%以上の信頼性を持つ元のネットワークで特定されたすべてのオブジェクトを正しく識別し、セグメント化する。 40倍から80倍の圧縮。 異なるメソッドのテクニックをネストできることは、著者らから逃れられていない。 DEのサイクルでスパーシフィケーションのための最良のパラメータセットが特定されると、パラメータ等級とヘッセン近似のような基準の組み合わせを用いて、それらのパラメータのサブセットのみをゼロにする決定を行うことができる。

関連論文リスト

• NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
  本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。 ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。 報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
  論文  参考訳（メタデータ） (2024-10-24T11:36:19Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。 本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。 スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
  論文  参考訳（メタデータ） (2024-04-06T21:33:39Z)
• Adaptive Multilevel Neural Networks for Parametric PDEs with Error Estimation [0.0]
  ニューラルネットワークアーキテクチャは高次元パラメータ依存偏微分方程式(pPDE)を解くために提示される モデルデータのパラメータを対応する有限要素解にマッピングするために構築される。 適応有限要素法(AFEM)で生成される粗いグリッド解と一連の補正を出力する。
  論文  参考訳（メタデータ） (2024-03-19T11:34:40Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Efficient Sparse Artificial Neural Networks [11.945854832533232]
  この脳は、ANN(Artificial Neural Networks)のインスピレーションの源として、スパース構造に基づいている。 このスパース構造は、脳のエネルギー消費を減らし、より容易に学習し、パターンを他のどのANNよりも一般化するのに役立ちます。 本論文では,ANNにスパース性を導入するための2つの進化的手法を提案する。
  論文  参考訳（メタデータ） (2021-03-13T10:03:41Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Ensembled sparse-input hierarchical networks for high-dimensional datasets [8.629912408966145]
  サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。 提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。 EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
  論文  参考訳（メタデータ） (2020-05-11T02:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。