論文の概要: Computation on Sparse Neural Networks: an Inspiration for Future Hardware

• arxiv url: http://arxiv.org/abs/2004.11946v1
• Date: Fri, 24 Apr 2020 19:13:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 02:40:50.604824
• Title: Computation on Sparse Neural Networks: an Inspiration for Future Hardware
• Title（参考訳）: スパースニューラルネットワークの計算:将来のハードウェアへのインスピレーション
• Authors: Fei Sun, Minghai Qin, Tianyun Zhang, Liu Liu, Yen-Kuang Chen, Yuan Xie
• Abstract要約: スパースニューラルネットワークの計算に関する研究の現状について述べる。 本稿では,重みパラメータの数とモデル構造に影響されるモデルの精度について論じる。 実際に複雑な問題に対して、重みが支配する領域において、大小のモデルを探索することはより有益であることを示す。
• 参考スコア（独自算出の注目度）: 20.131626638342706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network models are widely used in solving many challenging problems, such as computer vision, personalized recommendation, and natural language processing. Those models are very computationally intensive and reach the hardware limit of the existing server and IoT devices. Thus, finding better model architectures with much less amount of computation while maximally preserving the accuracy is a popular research topic. Among various mechanisms that aim to reduce the computation complexity, identifying the zero values in the model weights and in the activations to avoid computing them is a promising direction. In this paper, we summarize the current status of the research on the computation of sparse neural networks, from the perspective of the sparse algorithms, the software frameworks, and the hardware accelerations. We observe that the search for the sparse structure can be a general methodology for high-quality model explorations, in addition to a strategy for high-efficiency model execution. We discuss the model accuracy influenced by the number of weight parameters and the structure of the model. The corresponding models are called to be located in the weight dominated and structure dominated regions, respectively. We show that for practically complicated problems, it is more beneficial to search large and sparse models in the weight dominated region. In order to achieve the goal, new approaches are required to search for proper sparse structures, and new sparse training hardware needs to be developed to facilitate fast iterations of sparse models.
• Abstract（参考訳）: ニューラルネットワークモデルは、コンピュータビジョン、パーソナライズドレコメンデーション、自然言語処理など、多くの難しい問題を解決するために広く使われている。 これらのモデルは非常に計算集約的で、既存のサーバとIoTデバイスのハードウェア限界に達しています。 したがって、精度を最大に保ったまま、計算量を大幅に削減したより良いモデルアーキテクチャを見つけることは、一般的な研究トピックである。 計算の複雑さを減らすための様々なメカニズムのうち、モデル重みとアクティベーションのゼロ値を特定してそれらを計算するのを避けることは、有望な方向である。 本稿では,スパースアルゴリズム,ソフトウェアフレームワーク,ハードウェアアクセラレーションの観点から,スパースニューラルネットワークの計算に関する研究の現状を概説する。 我々は,スパース構造の探索が,高効率モデル実行戦略に加えて,高品質モデル探索の一般的な方法論であることを示す。 本稿では,重みパラメータの数とモデル構造に影響されるモデルの精度について論じる。 対応するモデルは、それぞれ重み支配領域と構造支配領域に配置される。 実際の複雑な問題に対して,重み支配領域において大規模でスパースなモデルを探索することがより有用であることを示す。 目的を達成するためには、適切なスパース構造を探すための新しいアプローチが必要であり、スパースモデルの高速イテレーションを容易にするために新しいスパーストレーニングハードウェアを開発する必要がある。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• A method for quantifying the generalization capabilities of generative models for solving Ising models [5.699467840225041]
  我々は、ハミング距離正規化器を用いて、VANと組み合わせた様々なネットワークアーキテクチャの一般化能力を定量化する。 フィードフォワードニューラルネットワーク,リカレントニューラルネットワーク,グラフニューラルネットワークなど,VANと組み合わせたネットワークアーキテクチャの数値実験を行う。 本手法は,大規模Isingモデルの解法において,最適なネットワークアーキテクチャを探索するニューラルネットワーク探索の分野を支援する上で,非常に重要である。
  論文  参考訳（メタデータ） (2024-05-06T12:58:48Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Load-balanced Gather-scatter Patterns for Sparse Deep Neural Networks [20.374784902476318]
  モデル重み付けにゼロを導入する方法として, モデル精度と計算効率のトレードオフを良好に提供する方法として, プルーニングが有効であることが示されている。 現代のプロセッサには、高速なオンチップスクラッチパッドメモリと、間接的に負荷を発生させ、そのようなメモリ上の操作を格納する集/散乱エンジンが備わっている。 本研究では,スクラッチパッドメモリと集合/散乱エンジンを利用して,ニューラルネットワークの推論を高速化する,新しいスパースパターン(GSパターン)を提案する。
  論文  参考訳（メタデータ） (2021-12-20T22:55:45Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Balancing Accuracy and Latency in Multipath Neural Networks [0.09668407688201358]
  我々は,一発のニューラルネットワーク探索モデルを用いて,難解な数のニューラルネットワークの性能を暗黙的に評価する。 本手法は,待ち時間が異なるモデル間の相対性能を正確にモデル化し,異なるデータセットをまたいだ精度で未検出モデルの性能を予測できることを示す。
  論文  参考訳（メタデータ） (2021-04-25T00:05:48Z)
• The Untapped Potential of Off-the-Shelf Convolutional Neural Networks [29.205446247063673]
  ResNet-50のような既存の市販モデルは、ImageNet上で95%以上の精度を持つことを示す。 このレベルのパフォーマンスは現在、20倍以上のパラメータとはるかに複雑なトレーニング手順を持つモデルを上回る。
  論文  参考訳（メタデータ） (2021-03-17T20:04:46Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。