論文の概要: Neural Networks Reduction via Lumping

• arxiv url: http://arxiv.org/abs/2209.07475v1
• Date: Thu, 15 Sep 2022 17:13:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 13:16:04.087103
• Title: Neural Networks Reduction via Lumping
• Title（参考訳）: 集中によるニューラルネットワークの低減
• Authors: Dalila Ressi, Riccardo Romanello, Sabina Rossi and Carla Piazza
• Abstract要約: 操作数とモデルに関連するパラメータの両方を減らすために、多数のソリューションが公開されている。 これらの還元技術の多くは実際には手法であり、通常、精度を回復するために少なくとも1つの再訓練ステップを必要とする。 データや微調整を使わずにネットワーク内のニューロン数を削減し,正確な動作を完全に保存するプルーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The increasing size of recently proposed Neural Networks makes it hard to implement them on embedded devices, where memory, battery and computational power are a non-trivial bottleneck. For this reason during the last years network compression literature has been thriving and a large number of solutions has been been published to reduce both the number of operations and the parameters involved with the models. Unfortunately, most of these reducing techniques are actually heuristic methods and usually require at least one re-training step to recover the accuracy. The need of procedures for model reduction is well-known also in the fields of Verification and Performances Evaluation, where large efforts have been devoted to the definition of quotients that preserve the observable underlying behaviour. In this paper we try to bridge the gap between the most popular and very effective network reduction strategies and formal notions, such as lumpability, introduced for verification and evaluation of Markov Chains. Elaborating on lumpability we propose a pruning approach that reduces the number of neurons in a network without using any data or fine-tuning, while completely preserving the exact behaviour. Relaxing the constraints on the exact definition of the quotienting method we can give a formal explanation of some of the most common reduction techniques.
• Abstract（参考訳）: 最近提案されたニューラルネットワークのサイズが大きくなると、メモリ、バッテリ、計算能力が非自明なボトルネックである組込みデバイスでは実装が困難になる。 このため、ここ数年間、ネットワーク圧縮文学が盛んになり、運用数とモデルに関連するパラメータの両方を減らすための多くのソリューションが公開された。 残念なことに、これらの削減技術のほとんどは実際にはヒューリスティックな方法であり、精度を回復するには少なくとも1つの再トレーニングステップが必要です。 モデル削減のための手続きの必要性は、検証と性能評価の分野でもよく知られており、そこでは観測可能な振る舞いを保存する商の定義に多大な努力が払われている。 本稿では,マルコフ連鎖の検証と評価のために導入された,最も普及し,非常に有効なネットワーク削減戦略と,疎結合性などの形式的概念とのギャップを埋める試みを行う。 我々は,ネットワーク内のニューロン数を,データや微調整を使わずに削減し,正確な動作を完全に保持するプルーニング手法を提案する。 商法の正確な定義に関する制約を緩和することで、最も一般的な還元手法のいくつかを公式に説明することができる。

関連論文リスト

• Constraint Guided Model Quantization of Neural Networks [0.0]
  Constraint Guided Model Quantization (CGMQ) は、計算資源の上限を使い、ニューラルネットワークのパラメータのビット幅を削減する量子化対応トレーニングアルゴリズムである。 MNISTでは、CGMQの性能が最先端の量子化対応トレーニングアルゴリズムと競合していることが示されている。
  論文  参考訳（メタデータ） (2024-09-30T09:41:16Z)
• Split-Boost Neural Networks [1.1549572298362787]
  本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。 このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。 提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
  論文  参考訳（メタデータ） (2023-09-06T17:08:57Z)
• On Optimizing Back-Substitution Methods for Neural Network Verification [1.4394939014120451]
  本稿では, 後方置換がより厳密な境界を生じさせるアプローチを提案する。 我々の技術は、多くの既存のシンボル境界伝搬技術に統合できるという意味で、一般的なものである。
  論文  参考訳（メタデータ） (2022-08-16T11:16:44Z)
• Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
  本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。 提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。 標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-16T11:57:38Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
  量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。 近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。 浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
  論文  参考訳（メタデータ） (2021-03-25T06:57:11Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values [0.0]
  MaxDropoutはディープニューラルネットワークモデルのレギュレータで、著名なニューロンを除去することで教師付きで機能する。 我々は、DropoutがMaxDropoutに置き換えられた場合、既存のニューラルネットワークを改善し、ニューラルネットワークのより良い結果を提供することができることを示す。
  論文  参考訳（メタデータ） (2020-07-27T17:55:54Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。