論文の概要: RoseNNa: A performant, portable library for neural network inference
with application to computational fluid dynamics
- arxiv url: http://arxiv.org/abs/2307.16322v1
- Date: Sun, 30 Jul 2023 21:11:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 16:30:05.110460
- Title: RoseNNa: A performant, portable library for neural network inference
with application to computational fluid dynamics
- Title（参考訳）: RoseNNa: ニューラルネットワーク推論のための高性能でポータブルなライブラリと計算流体力学への応用
- Authors: Ajay Bati, Spencer H. Bryngelson
- Abstract要約: 本稿では,ニューラルネットワーク推論とCFDのギャップを埋めるRoseNNaライブラリを提案する。
RoseNNaは、ニューラルネットワーク推論のための非侵襲的で軽量(1000行)ツールである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rise of neural network-based machine learning ushered in high-level
libraries, including TensorFlow and PyTorch, to support their functionality.
Computational fluid dynamics (CFD) researchers have benefited from this trend
and produced powerful neural networks that promise shorter simulation times.
For example, multilayer perceptrons (MLPs) and Long Short Term Memory (LSTM)
recurrent-based (RNN) architectures can represent sub-grid physical effects,
like turbulence. Implementing neural networks in CFD solvers is challenging
because the programming languages used for machine learning and CFD are mostly
non-overlapping, We present the roseNNa library, which bridges the gap between
neural network inference and CFD. RoseNNa is a non-invasive, lightweight (1000
lines), and performant tool for neural network inference, with focus on the
smaller networks used to augment PDE solvers, like those of CFD, which are
typically written in C/C++ or Fortran. RoseNNa accomplishes this by
automatically converting trained models from typical neural network training
packages into a high-performance Fortran library with C and Fortran APIs. This
reduces the effort needed to access trained neural networks and maintains
performance in the PDE solvers that CFD researchers build and rely upon.
Results show that RoseNNa reliably outperforms PyTorch (Python) and libtorch
(C++) on MLPs and LSTM RNNs with less than 100 hidden layers and 100 neurons
per layer, even after removing the overhead cost of API calls. Speedups range
from a factor of about 10 and 2 faster than these established libraries for the
smaller and larger ends of the neural network size ranges tested.
- Abstract（参考訳）: ニューラルネットワークベースの機械学習の台頭は、その機能をサポートするためにtensorflowやpytorchなど、ハイレベルなライブラリに取って代わられた。
計算流体力学(CFD)研究者はこの傾向の恩恵を受け、シミュレーション時間を短縮する強力なニューラルネットワークを生み出した。
例えば、多層パーセプトロン(MLP)とLong Short Term Memory(LSTM)リカレントベース(RNN)アーキテクチャは、乱流のようなサブグリッド物理効果を表現できる。
ニューラルネットワークをCFDソルバに実装することは、機械学習とCFDに使用されるプログラミング言語がほとんど重複しないため困難である。
rosennaは非侵襲的で軽量(1000行)なニューラルネットワーク推論のためのパフォーマンスツールで、c/c++やfortranで記述されたcfdのようなpdeソルバの強化に使用される小さなネットワークにフォーカスしている。
RoseNNaは、一般的なニューラルネットワークトレーニングパッケージからトレーニング済みモデルを、CとFortran APIを備えた高性能なFortranライブラリに自動変換することで、これを実現する。
これにより、トレーニングされたニューラルネットワークへのアクセスに必要な労力が削減され、CFD研究者が構築し依存するPDE解決器のパフォーマンスが維持される。
RoseNNaは、API呼び出しのオーバーヘッドコストを削減した後でも、100層未満の隠蔽層と100ニューロンを持つMLPとLSTM RNNにおいて、PyTorch(Python)とlibtorch(C++)を確実に上回っている。
スピードアップは、テスト対象のニューラルネットワークサイズの範囲がより小さく大きい場合の、これら確立されたライブラリの約10倍から2倍の速度です。
関連論文リスト
- Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。
深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
論文 参考訳（メタデータ） (2023-06-22T04:25:27Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded
Systems [0.0]
畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。
本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
論文 参考訳（メタデータ） (2021-12-01T18:20:52Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - ItNet: iterative neural networks with small graphs for accurate and
efficient anytime prediction [1.52292571922932]
本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。
CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
論文 参考訳（メタデータ） (2021-01-21T15:56:29Z) - Tensor train decompositions on recurrent networks [60.334946204107446]
マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。
理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
論文 参考訳（メタデータ） (2020-06-09T18:25:39Z) - A Fortran-Keras Deep Learning Bridge for Scientific Computing [6.768544973019004]
ソフトウェアライブラリであるFortran-Keras Bridge(FKB)を導入する。
本稿は、FKBが提供するいくつかのユニークな機能、例えば、カスタマイズ可能なレイヤ、損失関数、ネットワークアンサンブルについて述べる。
本稿は,地球規模の気候シミュレーションに対する実験的アプローチの堅牢性に関するオープンな疑問にFKBを適用したケーススタディで締めくくっている。
論文 参考訳（メタデータ） (2020-04-14T15:10:09Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。