論文の概要: NEPENTHE: Entropy-Based Pruning as a Neural Network Depth's Reducer

• arxiv url: http://arxiv.org/abs/2404.16890v1
• Date: Wed, 24 Apr 2024 09:12:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 15:03:56.072973
• Title: NEPENTHE: Entropy-Based Pruning as a Neural Network Depth's Reducer
• Title（参考訳）: NEPENTHE: ニューラルネットワーク深さ低減器としてのエントロピーベースプルーニング
• Authors: Zhu Liao, Victor Quétu, Van-Tam Nguyen, Enzo Tartaglione,
• Abstract要約: 深層ニューラルネットワークの計算負担を軽減するため,nEural Network depTHのrEducerとしてeNtropy-basEdプルーニングを提案する。 我々はMobileNetやSwin-Tといった一般的なアーキテクチャに対するアプローチを検証する。
• 参考スコア（独自算出の注目度）: 5.373015313199385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep neural networks are highly effective at solving complex tasks, their computational demands can hinder their usefulness in real-time applications and with limited-resources systems. Besides, for many tasks it is known that these models are over-parametrized: neoteric works have broadly focused on reducing the width of these networks, rather than their depth. In this paper, we aim to reduce the depth of over-parametrized deep neural networks: we propose an eNtropy-basEd Pruning as a nEural Network depTH's rEducer (NEPENTHE) to alleviate deep neural networks' computational burden. Based on our theoretical finding, NEPENTHE focuses on un-structurally pruning connections in layers with low entropy to remove them entirely. We validate our approach on popular architectures such as MobileNet and Swin-T, showing that when encountering an over-parametrization regime, it can effectively linearize some layers (hence reducing the model's depth) with little to no performance loss. The code will be publicly available upon acceptance of the article.
• Abstract（参考訳）: ディープニューラルネットワークは複雑なタスクを解くのに非常に効果的であるが、その計算要求はリアルタイムアプリケーションや限られたリソースシステムにおいてその有用性を妨げうる。 さらに、多くのタスクにおいてこれらのモデルが過度にパラメータ化されていることが知られている。 本稿では,nEural Network depTH の rEducer (NEPENTHE) として eNtropy-basEd Pruning を提案する。 我々の理論的発見に基づいて、NEPENTHEは、完全に除去するために低いエントロピーを持つ層で非構造的に切断される接続に焦点を当てている。 我々はMobileNetやSwin-Tのような一般的なアーキテクチャに対するアプローチを検証し、過度なパラメータ化体制に遭遇すると、いくつかのレイヤを効果的に線形化できることを示した。 コードは記事の受理時に公開される。

関連論文リスト

• LaCoOT: Layer Collapse through Optimal Transport [5.869633234882029]
  本稿では,過度にパラメータ化された深層ニューラルネットワークの深さを低減するための最適輸送手法を提案する。 この距離を最小化することで、ネットワーク内の中間層を完全に取り除くことができ、性能損失はほとんどなく、微調整も不要であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T09:03:53Z)
• The Simpler The Better: An Entropy-Based Importance Metric To Reduce Neural Networks' Depth [5.869633234882029]
  本稿では,大規模モデルによって伝達される事前知識を活用する効率戦略を提案する。 本稿では,過度にパラメータ化された深層ニューラルネットワークの深さを低減するために,エントロピー・バサード・インシデンス・mEtRic (EASIER) を利用する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-27T08:28:25Z)
• Can Unstructured Pruning Reduce the Depth in Deep Neural Networks? [5.869633234882029]
  プルーニングは、パフォーマンスを維持しながら、ディープニューラルネットワークのサイズを減らすために広く使われているテクニックである。 本研究では,深層ニューラルネットワークのサイズを減らし,その性能を保ちつつ,革新的なエントロピー誘導型プルーニングアルゴリズムであるEGPを紹介する。
  論文  参考訳（メタデータ） (2023-08-12T17:27:49Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Provable Regret Bounds for Deep Online Learning and Control [77.77295247296041]
  我々は、損失関数がニューラルネットワークのパラメータを最適化するために適応できることを示し、後から最も優れたネットと競合することを示す。 オンライン設定におけるこれらの結果の適用として、オンライン制御コントローラの証明可能なバウンダリを得る。
  論文  参考訳（メタデータ） (2021-10-15T02:13:48Z)
• Building Compact and Robust Deep Neural Networks with Toeplitz Matrices [93.05076144491146]
  この論文は、コンパクトで、訓練が容易で、信頼性があり、敵の例に対して堅牢なニューラルネットワークを訓練する問題に焦点を当てている。 Toeplitzファミリーの構造化行列の特性を利用して、コンパクトでセキュアなニューラルネットワークを構築する。
  論文  参考訳（メタデータ） (2021-09-02T13:58:12Z)
• Layer Folding: Neural Network Depth Reduction using Activation Linearization [0.0]
  現代のデバイスは高いレベルの並列性を示すが、リアルタイムレイテンシはネットワークの深さに大きく依存している。 線形でない活性化を除去できるかどうかを学習し、連続的な線形層を1つに折り畳む方法を提案する。 我々は, CIFAR-10 と CIFAR-100 で事前訓練されたネットワークに適用し, それら全てを同様の深さの浅い形に変換できることを示す。
  論文  参考訳（メタデータ） (2021-06-17T08:22:46Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Lossless Compression of Deep Neural Networks [17.753357839478575]
  ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。 モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。 生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-01-01T15:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。