論文の概要: Sparsity May Cry: Let Us Fail (Current) Sparse Neural Networks Together!
- arxiv url: http://arxiv.org/abs/2303.02141v1
- Date: Fri, 3 Mar 2023 18:47:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-06 13:44:28.874926
- Title: Sparsity May Cry: Let Us Fail (Current) Sparse Neural Networks Together!
- Title（参考訳）: sparsityは泣くかもしれない: 失敗(現在の)スパースニューラルネットワークを一緒に失敗させよう!
- Authors: Shiwei Liu, Tianlong Chen, Zhenyu Zhang, Xuxi Chen, Tianjin Huang,
Ajay Jaiswal, Zhangyang Wang
- Abstract要約: Sparsity May Cry"ベンチマーク(SMC-Bench)は、慎重に計算された4つのタスクと10のデータセットのコレクションである。
SMC-Benchは、よりスケーラブルで一般化可能なスパースアルゴリズムの開発を奨励するように設計されている。
- 参考スコア（独自算出の注目度）: 100.19080749267316
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Sparse Neural Networks (SNNs) have received voluminous attention
predominantly due to growing computational and memory footprints of
consistently exploding parameter count in large-scale models. Similar to their
dense counterparts, recent SNNs generalize just as well and are equipped with
numerous favorable benefits (e.g., low complexity, high scalability, and
robustness), sometimes even better than the original dense networks. As
research effort is focused on developing increasingly sophisticated sparse
algorithms, it is startling that a comprehensive benchmark to evaluate the
effectiveness of these algorithms has been highly overlooked. In absence of a
carefully crafted evaluation benchmark, most if not all, sparse algorithms are
evaluated against fairly simple and naive tasks (eg. CIFAR, ImageNet, GLUE,
etc.), which can potentially camouflage many advantages as well unexpected
predicaments of SNNs. In pursuit of a more general evaluation and unveiling the
true potential of sparse algorithms, we introduce "Sparsity May Cry" Benchmark
(SMC-Bench), a collection of carefully-curated 4 diverse tasks with 10
datasets, that accounts for capturing a wide range of domain-specific and
sophisticated knowledge. Our systemic evaluation of the most representative
sparse algorithms reveals an important obscured observation: the
state-of-the-art magnitude- and/or gradient-based sparse algorithms seemingly
fail to perform on SMC-Bench when applied out-of-the-box, sometimes at
significantly trivial sparsity as low as 5%. By incorporating these
well-thought and diverse tasks, SMC-Bench is designed to favor and encourage
the development of more scalable and generalizable sparse algorithms.
- Abstract（参考訳）: スパースニューラルネットワーク(SNN)は、大規模モデルにおける一貫したパラメータカウントの計算量とメモリフットプリントの増加により、大きな注目を集めている。
最近のSNNも同様に一般化され、多くの有利な利点(例えば、低複雑性、高スケーラビリティ、ロバスト性)を備えており、時に元の高密度ネットワークよりも優れている。
より洗練されたスパースアルゴリズムの開発に焦点が当てられているため、これらのアルゴリズムの有効性を評価する包括的なベンチマークは見過ごされている。
慎重に構築された評価ベンチマークがなければ、ほとんどの場合、スパースアルゴリズムは、かなり単純で単純なタスク(CIFAR、ImageNet、GLUEなど)に対して評価される。
SMC-Bench(Sparsity May Cry) Benchmark)は、10個のデータセットで慎重に計算された4つのタスクの集合であり、ドメイン固有で洗練された知識を広範囲に捉えている。
最も代表的なスパースアルゴリズムの体系的な評価は、重要な曖昧な観察を明らかにした: 最先端のマグニチュードおよび/または勾配に基づくスパースアルゴリズムは、アウトオブボックスで適用した場合にsmc-benchで実行できないように見える。
これらのよく考えられた多様なタスクを取り入れることで、SMC-Benchはよりスケーラブルで一般化可能なスパースアルゴリズムの開発を奨励するように設計されている。
関連論文リスト
- Searching Large Neighborhoods for Integer Linear Programs with
Contrastive Learning [39.40838358438744]
線形プログラム(ILP)は、多数の最適化問題のモデリングと解決のための強力なツールである。
アルゴリズムとしてLarge Neighborhood Search (LNS)は、ブランチやバウンドよりも高速に、ILPの高品質なソリューションを見つけることができる。
本稿では,メトリクスによって測定された複数のILPベンチマークに対して,最先端のリアルタイム性能を実現する新しいアプローチCL-LNSを提案する。
論文 参考訳（メタデータ） (2023-02-03T07:15:37Z) - FSCNN: A Fast Sparse Convolution Neural Network Inference System [31.474696818171953]
畳み込みニューラルネットワーク(CNN)は目覚ましい成功を収めているが、通常は高い計算コストと多くの冗長な重みパラメータが伴う。
FLOPを小さくするためには、粗粒の粗さを導入して隠蔽構造全体を除去する構造刈りが一般的である。
圧縮されたCNNの微細な粒度を利用した効率的な畳み込みニューラルネットワーク推論システムを提案する。
論文 参考訳（メタデータ） (2022-12-17T06:44:58Z) - Towards Better Out-of-Distribution Generalization of Neural Algorithmic
Reasoning Tasks [51.8723187709964]
ニューラルネットワーク推論タスクのOOD一般化について検討する。
目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
論文 参考訳（メタデータ） (2022-11-01T18:33:20Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Inability of a graph neural network heuristic to outperform greedy
algorithms in solving combinatorial optimization problems like Max-Cut [0.0]
Nature Machine Intelligence 4, 367 (2022) において、Schuetzらは、様々な古典的なNPハード最適化問題を解決するためにニューラルネットワーク(GNN)を使用するスキームを提供している。
ネットワークがサンプルインスタンス上でどのようにトレーニングされているかを説明し、その結果のGNNは、広く使われているテクニックを適用して、その成功の可能性を判断する。
しかし, より綿密な検査により, このGNNの報告結果は勾配降下率よりもわずかに優れており, グリーディアルゴリズムにより性能が向上していることがわかった。
論文 参考訳（メタデータ） (2022-10-02T20:50:33Z) - Neural network relief: a pruning algorithm based on neural activity [68.12222731020694]
重要でない接続を非活性化する簡易な重要スコア計量を提案する。
MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。
このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
論文 参考訳（メタデータ） (2021-09-22T15:33:49Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳（メタデータ） (2021-06-18T01:03:13Z) - A High Performance, Low Complexity Algorithm for Multi-Player Bandits
Without Collision Sensing Information [7.198362232890585]
本論文では,Selfish KL-UCBアルゴリズムに触発された計算複雑性が非常に低いアルゴリズムであるRandomized Selfish KL-UCBを提案する。
ほぼすべての環境で、時には数桁のオーダーで、最先端のアルゴリズムが必要とする追加の知識なしで、最先端のアルゴリズムをはるかに上回ることを示す。
論文 参考訳（メタデータ） (2021-02-19T23:10:48Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。