論文の概要: Nerva: a Truly Sparse Implementation of Neural Networks

• arxiv url: http://arxiv.org/abs/2407.17437v1
• Date: Wed, 24 Jul 2024 17:13:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 12:55:41.702344
• Title: Nerva: a Truly Sparse Implementation of Neural Networks
• Title（参考訳）: Nerva: ニューラルネットワークの完全なスパース実装
• Authors: Wieger Wesselink, Bram Grooten, Qiao Xiao, Cassio de Campos, Mykola Pechenizkiy,
• Abstract要約: Nervaは、C++で開発中の高速ニューラルネットワークライブラリである。 IntelのMath Kernel Libraryのスパースマトリックス操作を使用することで、スパシティをサポートする。
• 参考スコア（独自算出の注目度）: 16.29955529463831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Nerva, a fast neural network library under development in C++. It supports sparsity by using the sparse matrix operations of Intel's Math Kernel Library (MKL), which eliminates the need for binary masks. We show that Nerva significantly decreases training time and memory usage while reaching equivalent accuracy to PyTorch. We run static sparse experiments with an MLP on CIFAR-10. On high sparsity levels like $99\%$, the runtime is reduced by a factor of $4\times$ compared to a PyTorch model using masks. Similar to other popular frameworks such as PyTorch and Keras, Nerva offers a Python interface for users to work with.
• Abstract（参考訳）: C++で開発中の高速ニューラルネットワークライブラリであるNervaを紹介します。 これは、IntelのMath Kernel Library(MKL)のスパースマトリックス操作を使用することで、バイナリマスクの必要性を排除することで、スパシティをサポートする。 我々はNervaがPyTorchと同等の精度でトレーニング時間とメモリ使用量を著しく削減することを示した。 我々は CIFAR-10 上で MLP を用いて静的スパース実験を行った。 99\%$のような高頻度のレベルでは、マスクを使用したPyTorchモデルと比較して、ランタイムは4\times$で削減される。 PyTorchやKerasといった他の人気のあるフレームワークと同様に、Nervaはユーザが使えるPythonインターフェースを提供する。

関連論文リスト

• No Saved Kaleidosope: an 100% Jitted Neural Network Coding Language with Pythonic Syntax [0.8408735228878615]
  我々は,C++,LLVM,Cudaを用いてニューラルネットワークを学習するためのjittedコンパイラを開発した。 オブジェクト指向の特徴、強い型付け、データ前処理のための並列ワーカー、式のためのピソニック構文、PyTorchのようなモデル宣言、自動微分などが特徴である。
  論文  参考訳（メタデータ） (2024-09-17T23:15:39Z)
• KHNNs: hypercomplex neural networks computations via Keras using TensorFlow and PyTorch [0.0]
  本稿では,DenseとPyTorch内で計算を行うKerasと統合したライブラリアプリケーションを提案する。 DenseとConvolutional 1D、2D、3Dレイヤアーキテクチャを提供する。
  論文  参考訳（メタデータ） (2024-06-29T14:36:37Z)
• iSpLib: A Library for Accelerating Graph Neural Networks using Auto-tuned Sparse Operations [1.3030767447016454]
  iSpLibは、自動調整されたスパース操作を備えたPyTorchベースのC++ライブラリである。 iSpLibは、CPU上のPyTorch 2.1.0とPyTorch Geometric 2.4.0と同等のPyTorch 2.1.0と比較して、最大27倍のトレーニングスピードアップが得られることを示した。
  論文  参考訳（メタデータ） (2024-03-21T21:56:44Z)
• depyf: Open the Opaque Box of PyTorch Compiler for Machine Learning Researchers [92.13613958373628]
  textttdepyfは、PyTorchコンパイラの内部動作を復号化するためのツールである。 textttdepyfは、PyTorchが生成したバイトコードを等価なソースコードに逆コンパイルする。
  論文  参考訳（メタデータ） (2024-03-14T16:17:14Z)
• RoseNNa: A performant, portable library for neural network inference with application to computational fluid dynamics [0.0]
  本稿では,ニューラルネットワーク推論とCFDのギャップを埋めるRoseNNaライブラリを提案する。 RoseNNaは、ニューラルネットワーク推論のための非侵襲的で軽量(1000行)ツールである。
  論文  参考訳（メタデータ） (2023-07-30T21:11:55Z)
• torchgfn: A PyTorch GFlowNet library [56.071033896777784]
  torchgfnはPyTorchライブラリで、このニーズに対処することを目指している。 環境のためのシンプルなAPIと、サンプルと損失のための有用な抽象化を提供する。
  論文  参考訳（メタデータ） (2023-05-24T00:20:59Z)
• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• TorchNTK: A Library for Calculation of Neural Tangent Kernels of PyTorch Models [16.30276204466139]
  我々は、PyTorchフレームワークでニューラルネットワークモデルの実験的ニューラルネットワークカーネル(NTK)を計算するためのピソンライブラリであるTorchNTKを紹介する。 このライブラリの特徴は、ユーザをレイヤワイドNTKコンポーネントに公開し、階層ワイドの計算がよりメモリ効率が高いことを示すことである。
  論文  参考訳（メタデータ） (2022-05-24T21:27:58Z)
• Hybrid Models for Learning to Branch [81.93868699246214]
  我々はCPUマシン上で効率的な分岐を行うための新しいハイブリッドアーキテクチャを提案する。 提案アーキテクチャは,GNNの表現力と分岐処理のための計算コストの低い多層パーセプトロン(MLP)を組み合わせる。
  論文  参考訳（メタデータ） (2020-06-26T21:03:45Z)
• On the distance between two neural networks and the stability of learning [59.62047284234815]
  本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。 この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
  論文  参考訳（メタデータ） (2020-02-09T19:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。