論文の概要: Ten Lessons We Have Learned in the New "Sparseland": A Short Handbook
for Sparse Neural Network Researchers
- arxiv url: http://arxiv.org/abs/2302.02596v2
- Date: Tue, 7 Feb 2023 07:14:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-08 12:16:26.215619
- Title: Ten Lessons We Have Learned in the New "Sparseland": A Short Handbook
for Sparse Neural Network Researchers
- Title(参考訳): 新しい「スパースランド」で学んだ10の教訓:スパースニューラルネットワーク研究者のための短いハンドブック
- Authors: Shiwei Liu and Zhangyang Wang
- Abstract要約: この記事は、SNN(Sparse Neural Network)研究コミュニティがますます繁栄する中で、"共通善(common good)"を提供することを目的としている。
SNNの10のQ&Aは、密度対スパース、非構造化スパース対構造スパース、プルーニング対スパーストレーニング、密度対スパーストレーニング、静的なスパースネス対動的スパースネス、事前トレーニング/デューストレーニングと後トレーニングのスパースネスを含む、多くの重要な側面から要約する。
- 参考スコア(独自算出の注目度): 100.66539004105805
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This article does not propose any novel algorithm or new hardware for
sparsity. Instead, it aims to serve the "common good" for the increasingly
prosperous Sparse Neural Network (SNN) research community. We attempt to
summarize some most common confusions in SNNs, that one may come across in
various scenarios such as paper review/rebuttal and talks - many drawn from the
authors' own bittersweet experiences! We feel that doing so is meaningful and
timely, since the focus of SNN research is notably shifting from traditional
pruning to more diverse and profound forms of sparsity before, during, and
after training. The intricate relationships between their scopes, assumptions,
and approaches lead to misunderstandings, for non-experts or even experts in
SNNs. In response, we summarize ten Q\&As of SNNs from many key aspects,
including dense vs. sparse, unstructured sparse vs. structured sparse, pruning
vs. sparse training, dense-to-sparse training vs. sparse-to-sparse training,
static sparsity vs. dynamic sparsity, before-training/during-training vs.
post-training sparsity, and many more. We strive to provide proper and
generically applicable answers to clarify those confusions to the best extent
possible. We hope our summary provides useful general knowledge for people who
want to enter and engage with this exciting community; and also provides some
"mind of ease" convenience for SNN researchers to explain their work in the
right contexts. At the very least (and perhaps as this article's most
insignificant target functionality), if you are writing/planning to write a
paper or rebuttal in the field of SNNs, we hope some of our answers could help
you!
- Abstract(参考訳): 本稿では,新しいアルゴリズムや新しいハードウェアの提案はしない。
その代わり、SNN(Sparse Neural Network)研究コミュニティがますます繁栄する中で、"共通善(common good)"を提供することを目指している。
私たちはSNNでよく見られる混乱を要約しようと試みており、論文レビューや論評、講演など様々なシナリオで遭遇する可能性がある。
SNNリサーチの焦点は、従来型プルーニングから、トレーニング前、中、および後、より多様性があり、より深遠な形へとシフトしていることから、そうすることは有意義でタイムリーであると感じています。
彼らのスコープ、仮定、アプローチの間の複雑な関係は、非専門家やSNNの専門家にとって誤解を招く。
これに反応して、snsのsnsの10つのq\&aを要約し、例えば、sparse vs. sparse、非構造化sparse vs. structured sparse、pruning vs. sparse training、sparse-to-sparse training vs. sparse-to-sparse training、static sparsity vs. dynamic sparsity、pretraining/during-training vs. post-training sparsityなどについてまとめた。
我々は,これらの混乱を可能な限り明確化するために,適切かつ汎用的な回答を提供することに努める。
私たちの要約は、このエキサイティングなコミュニティに入り込みたい人々のために有用な一般的な知識を提供し、また、sn研究者が正しい文脈で自分の仕事を説明するための"簡単な考え方"を提供することを期待しています。
少なくとも(おそらくこの記事の最も重要でないターゲット機能として)、SNNの分野で論文を書いたり、あるいは論評を書いたりする場合、私たちの回答が役に立つことを願っています!
関連論文リスト
- Rethinking Residual Connection in Training Large-Scale Spiking Neural
Networks [10.286425749417216]
スパイキングニューラルネットワーク(SNN)は、最も有名な脳にインスパイアされたモデルとして知られている。
非微分可能なスパイク機構により、大規模SNNの訓練が困難になる。
論文 参考訳(メタデータ) (2023-11-09T06:48:29Z) - Uncovering the Representation of Spiking Neural Networks Trained with
Surrogate Gradient [11.0542573074431]
スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率のため、次世代ニューラルネットワークの候補として認識されている。
近年、SNNは、代理勾配トレーニングを用いて、画像認識タスクにおいて、ほぼ最先端のパフォーマンスを達成できることを示した。
論文 参考訳(メタデータ) (2023-04-25T19:08:29Z) - You Can Have Better Graph Neural Networks by Not Training Weights at
All: Finding Untrained GNNs Tickets [105.24703398193843]
グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。
得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。
また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
論文 参考訳(メタデータ) (2022-11-28T14:17:36Z) - Towards Fully Interpretable Deep Neural Networks: Are We There Yet? [17.88784870849724]
Deep Neural Networks(DNN)は、人工知能(AI)システムに対するユーザの信頼を妨げるブラックボックスとして振る舞う。
本報告では,本質的な解釈可能性を持つDNNの開発手法について概説する。
論文 参考訳(メタデータ) (2021-06-24T16:37:34Z) - Recent Advances in Large Margin Learning [63.982279380483526]
本稿では,(非線形)深層ニューラルネットワーク(dnn)のための大規模マージントレーニングとその理論的基礎の最近の進歩に関する調査を行う。
古典研究から最新のDNNへの分類マージンの策定を一般化し、マージン、ネットワーク一般化、堅牢性の間の理論的関連性をまとめ、最近のDNNのマージン拡大の取り組みを総合的に紹介します。
論文 参考訳(メタデータ) (2021-03-25T04:12:00Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳(メタデータ) (2021-02-17T18:59:28Z) - Deep Neural Networks Are Congestion Games: From Loss Landscape to
Wardrop Equilibrium and Beyond [12.622643370707328]
我々の研究は、ディープニューラルネットワーク(DNN)を解析するための非常に有望な新しいツールを提供する、と我々は主張する。
前者を分析する際に、後者から利用できる古典的な結果の恩恵を受ける方法を示す。
論文 参考訳(メタデータ) (2020-10-21T14:11:40Z) - Weight-Covariance Alignment for Adversarially Robust Neural Networks [15.11530043291188]
本稿では,対人訓練に頼らずに最先端のパフォーマンスを実現する新しいSNNを提案する。
既存のSNNは学習あるいは手動等方性雑音を注入するが、SNNは異方性雑音分布を学習し、対向的ロバスト性に対する学習理論境界を最適化する。
論文 参考訳(メタデータ) (2020-10-17T19:28:35Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳(メタデータ) (2020-06-30T14:56:05Z) - Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。
NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。
その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
論文 参考訳(メタデータ) (2020-03-30T08:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。