論文の概要: Weight Evolution: Improving Deep Neural Networks Training through Evolving Inferior Weight Values

• arxiv url: http://arxiv.org/abs/2110.04492v1
• Date: Sat, 9 Oct 2021 07:33:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 17:34:06.017123
• Title: Weight Evolution: Improving Deep Neural Networks Training through Evolving Inferior Weight Values
• Title（参考訳）: 軽量化:低体重値の進化によるディープニューラルネットワークトレーニングの改善
• Authors: Zhenquan Lin, Kailing Guo, Xiaofen Xing, Xiangmin Xu
• Abstract要約: 本稿では,重量再活性化要素の問題点について考察する。 進化により、重要でないフィルタを選択し、重要でない要素を更新する。 本稿では,グローバルな選択戦略と局所的な選択戦略を提案し,それらを組み合わせて重要でないフィルタの探索を行う。
• 参考スコア（独自算出の注目度）: 11.124057121270504
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To obtain good performance, convolutional neural networks are usually over-parameterized. This phenomenon has stimulated two interesting topics: pruning the unimportant weights for compression and reactivating the unimportant weights to make full use of network capability. However, current weight reactivation methods usually reactivate the entire filters, which may not be precise enough. Looking back in history, the prosperity of filter pruning is mainly due to its friendliness to hardware implementation, but pruning at a finer structure level, i.e., weight elements, usually leads to better network performance. We study the problem of weight element reactivation in this paper. Motivated by evolution, we select the unimportant filters and update their unimportant elements by combining them with the important elements of important filters, just like gene crossover to produce better offspring, and the proposed method is called weight evolution (WE). WE is mainly composed of four strategies. We propose a global selection strategy and a local selection strategy and combine them to locate the unimportant filters. A forward matching strategy is proposed to find the matched important filters and a crossover strategy is proposed to utilize the important elements of the important filters for updating unimportant filters. WE is plug-in to existing network architectures. Comprehensive experiments show that WE outperforms the other reactivation methods and plug-in training methods with typical convolutional neural networks, especially lightweight networks. Our code is available at https://github.com/BZQLin/Weight-evolution.
• Abstract（参考訳）: 優れた性能を得るために、畳み込みニューラルネットワークは通常過パラメータ化される。 この現象は2つの興味深いトピックを刺激している。圧縮のために重要でない重みを刈り上げ、ネットワーク能力を最大限活用するために重要でない重みを活性化する。 しかし、現在の重み再活性化法は通常フィルタ全体を活性化するが、精度は十分ではない。 歴史を振り返ってみると、フィルタプルーニングの繁栄は、主にハードウェア実装との親和性によるものだが、より細かい構造、すなわち重み付け要素でプルーニングすることで、ネットワークパフォーマンスが向上する。 本稿では,重量元素の再活性化問題について考察する。 進化によって動機づけられた我々は、重要なフィルターの重要な要素と組み合わせることで、重要でないフィルタを選択し、それらの要素を更新する。 WEは主に4つの戦略で構成されている。 我々は,グローバル選択戦略と局所選択戦略を提案し,これらを組み合わせて重要でないフィルタの探索を行う。 一致した重要フィルタを見つけるためのフォワードマッチング戦略を提案し,重要フィルタの重要な要素を重要でないフィルタを更新するためにクロスオーバー戦略を提案する。 既存のネットワークアーキテクチャへのプラグインです。 包括的実験により、WEは典型的な畳み込みニューラルネットワーク、特に軽量ネットワークで他の再活性化法やプラグイントレーニング法より優れていることが示された。 私たちのコードはhttps://github.com/bzqlin/weight-evolutionで利用可能です。

関連論文リスト

• As large as it gets: Learning infinitely large Filters via Neural Implicit Functions in the Fourier Domain [22.512062422338914]
  画像分類のためのニューラルネットワークの最近の研究は、空間的文脈を増大させる傾向が強い。 本稿では,畳み込みニューラルネットワークの有効フィルタサイズを研究するためのモジュールを提案する。 提案するネットワークは非常に大きな畳み込みカーネルを学習できるが、学習されたフィルタは十分に局所化されており、実際は比較的小さい。
  論文  参考訳（メタデータ） (2023-07-19T14:21:11Z)
• The Power of Linear Combinations: Learning with Random Convolutions [2.0305676256390934]
  現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。 これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。 私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
  論文  参考訳（メタデータ） (2023-01-26T19:17:10Z)
• Learning Versatile Convolution Filters for Efficient Visual Recognition [125.34595948003745]
  本稿では,効率的な畳み込みニューラルネットワーク構築のための多目的フィルタを提案する。 本稿では,ネットワークの複雑性に関する理論的解析を行い,効率的な畳み込み手法を提案する。 ベンチマークデータセットとニューラルネットワークの実験結果は、我々の汎用フィルタが元のフィルタと同等の精度を達成できることを実証している。
  論文  参考訳（メタデータ） (2021-09-20T06:07:14Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)
• Filter Grafting for Deep Neural Networks [71.39169475500324]
  ディープニューラルネットワーク(DNN)の表現能力向上を目的としたフィルタグラフト 我々は,フィルタの情報を測定するエントロピーベースの基準と,ネットワーク間のグラフト情報のバランスをとるための適応重み付け戦略を開発する。 例えば、グラフトされたMobileNetV2は、CIFAR-100データセットで非グラフトされたMobileNetV2を約7%上回っている。
  論文  参考訳（メタデータ） (2020-01-15T03:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。