論文の概要: Differentiable Sparsification for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/1910.03201v6
- Date: Tue, 24 Oct 2023 10:59:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 04:08:22.166346
- Title: Differentiable Sparsification for Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークのための微分スカラー化
- Authors: Yognjin Lee
- Abstract要約: 本稿では,ディープニューラルネットワークのための完全微分可能なスペーシフィケーション手法を提案する。
提案手法は,ネットワークのスパース化構造と重み付けの両方をエンドツーエンドに学習することができる。
私たちの知る限りでは、これが最初の完全に差別化可能なスパーシフィケーション手法である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have significantly alleviated the burden of feature
engineering, but comparable efforts are now required to determine effective
architectures for these networks. Furthermore, as network sizes have become
excessively large, a substantial amount of resources is invested in reducing
their sizes. These challenges can be effectively addressed through the
sparsification of over-complete models. In this study, we propose a fully
differentiable sparsification method for deep neural networks, which can zero
out unimportant parameters by directly optimizing a regularized objective
function with stochastic gradient descent. Consequently, the proposed method
can learn both the sparsified structure and weights of a network in an
end-to-end manner. It can be directly applied to various modern deep neural
networks and requires minimal modification to the training process. To the best
of our knowledge, this is the first fully differentiable sparsification method.
- Abstract(参考訳): ディープニューラルネットワークは、機能エンジニアリングの負担を大幅に軽減していますが、これらのネットワークの効果的なアーキテクチャを決定するには、それと同等の努力が必要です。
さらに、ネットワークサイズが過大になるにつれて、そのサイズを減らすためにかなりの量のリソースが投資される。
これらの課題はオーバーコンプリートモデルのスパース化によって効果的に対処できる。
本研究では,確率的勾配降下を伴う正規化対象関数を直接最適化することにより,重要でないパラメータをゼロにすることができるディープニューラルネットワークの完全微分可能なスパーシフィケーション法を提案する。
その結果,提案手法はネットワークのスパース化構造と重み付けの両方をエンドツーエンドで学習することができる。
様々な現代のディープニューラルネットワークに直接適用することができ、トレーニングプロセスに最小限の変更を必要とする。
私たちの知る限りでは、これは最初の完全に微分可能なスパーシフィケーション方法です。
関連論文リスト
- The Simpler The Better: An Entropy-Based Importance Metric To Reduce Neural Networks' Depth [5.869633234882029]
本稿では,大規模モデルによって伝達される事前知識を活用する効率戦略を提案する。
本稿では,過度にパラメータ化された深層ニューラルネットワークの深さを低減するために,エントロピー・バサード・インシデンス・mEtRic (EASIER) を利用する手法を提案する。
論文 参考訳(メタデータ) (2024-04-27T08:28:25Z) - Neural Network Pruning by Gradient Descent [7.427858344638741]
我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。
ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。
我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
論文 参考訳(メタデータ) (2023-11-21T11:12:03Z) - Adaptive Neural Networks Using Residual Fitting [2.546014024559691]
本稿では,ネットワークの残差における説明可能なエラーを探索し,十分なエラーが検出された場合,ネットワークを拡大するネットワーク成長手法を提案する。
これらのタスクの中で、成長するネットワークは、成長しない小さなネットワークよりも優れたパフォーマンスを達成することができる。
論文 参考訳(メタデータ) (2023-01-13T19:52:30Z) - A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。
ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
論文 参考訳(メタデータ) (2022-10-31T16:13:15Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳(メタデータ) (2021-12-04T18:07:47Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳(メタデータ) (2021-02-17T04:47:18Z) - Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文 参考訳(メタデータ) (2021-01-31T22:48:50Z) - Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。
そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。
提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
論文 参考訳(メタデータ) (2020-12-24T19:34:56Z) - HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。
提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。
トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
論文 参考訳(メタデータ) (2020-08-24T04:08:48Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。