論文の概要: Nimble: Efficiently Compiling Dynamic Neural Networks for Model
Inference
- arxiv url: http://arxiv.org/abs/2006.03031v2
- Date: Fri, 12 Mar 2021 07:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 12:49:06.963331
- Title: Nimble: Efficiently Compiling Dynamic Neural Networks for Model
Inference
- Title（参考訳）: Nimble: モデル推論のための動的ニューラルネットワークの効率的なコンパイル
- Authors: Haichen Shen, Jared Roesch, Zhi Chen, Wei Chen, Yong Wu, Mu Li, Vin
Sharma, Zachary Tatlock, Yida Wang
- Abstract要約: 本論文では、複数のプラットフォーム上で動的ニューラルネットワークを最適化、コンパイル、実行するための高性能で柔軟なシステムであるNimbleを提案する。
我々の評価では、Ninmbleは、ハードウェアプラットフォーム上で、動的ニューラルネットワークのための最先端のディープラーニングフレームワークとランタイムシステムより最大20倍性能が高いことを示す。
- 参考スコア（独自算出の注目度）: 22.267489467486467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern deep neural networks increasingly make use of features such as dynamic
control flow, data structures and dynamic tensor shapes. Existing deep learning
systems focus on optimizing and executing static neural networks which assume a
pre-determined model architecture and input data shapes--assumptions which are
violated by dynamic neural networks. Therefore, executing dynamic models with
deep learning systems is currently both inflexible and sub-optimal, if not
impossible. Optimizing dynamic neural networks is more challenging than static
neural networks; optimizations must consider all possible execution paths and
tensor shapes. This paper proposes Nimble, a high-performance and flexible
system to optimize, compile, and execute dynamic neural networks on multiple
platforms. Nimble handles model dynamism by introducing a dynamic type system,
a set of dynamism-oriented optimizations, and a light-weight virtual machine
runtime. Our evaluation demonstrates that Nimble outperforms state-of-the-art
deep learning frameworks and runtime systems for dynamic neural networks by up
to 20x on hardware platforms including Intel CPUs, ARM CPUs, and Nvidia GPUs.
- Abstract（参考訳）: 現代のディープニューラルネットワークは、動的制御フロー、データ構造、動的テンソル形状などの特徴をますます活用している。
既存のディープラーニングシステムは、事前決定されたモデルアーキテクチャと入力データ形状を前提とした静的ニューラルネットワークの最適化と実行にフォーカスしている。
したがって、ディープラーニングシステムで動的モデルを実行することは、不可能ではないにせよ、現時点では柔軟性と準最適である。
動的ニューラルネットワークの最適化は静的ニューラルネットワークよりも難しい。
本稿では,複数のプラットフォーム上で動的ニューラルネットワークを最適化,コンパイル,実行するための高性能でフレキシブルなシステムであるnimbleを提案する。
nimbleは動的型システム、ダイナミズム指向最適化のセット、軽量仮想マシンランタイムを導入することで、モデルダイナミズムを処理する。
我々の評価では、Ninmbleは、Intel CPU、ARM CPU、Nvidia GPUを含むハードウェアプラットフォーム上で、動的ニューラルネットワークのための最先端のディープラーニングフレームワークとランタイムシステムよりも最大20倍の性能を発揮している。
関連論文リスト
- Systematic construction of continuous-time neural networks for linear dynamical systems [0.0]
本稿では,動的システムのサブクラスをモデル化するためのニューラルネットワーク構築の体系的アプローチについて論じる。
我々は、各ニューロンの出力が1次または2次常微分方程式(ODE)の解として連続的に進化する連続時間ニューラルネットワークの変種を用いる。
データからネットワークアーキテクチャとパラメータを導出する代わりに、所定のLTIシステムから直接スパースアーキテクチャとネットワークパラメータを計算するための勾配のないアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-24T16:16:41Z) - Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural
Networks [0.08965418284317034]
Spiking Neural Networks(SNN)は、小さくて低消費電力なハードウェアフットプリントによるエネルギー効率の向上を提供する。
本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。
論文 参考訳（メタデータ） (2024-02-29T09:46:44Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - HADAS: Hardware-Aware Dynamic Neural Architecture Search for Edge
Performance Scaling [8.29394286023338]
動的ニューラルネットワーク(DyNN)は、リソース制約されたエッジデバイス上でのインテリジェンスを実現するための有効な技術となっている。
多くの場合、設計段階で基盤となるバックボーンアーキテクチャが開発されているため、DyNNの実装は準最適である。
我々は、バックボーン、早期終了機能、DVFS設定が協調的に最適化されたDyNNアーキテクチャを実現する新しいハードウェア対応動的ニューラルネットワーク探索フレームワークであるHADASを提案する。
論文 参考訳（メタデータ） (2022-12-06T22:27:00Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳（メタデータ） (2022-06-07T02:25:38Z) - Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。
ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。
ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
論文 参考訳（メタデータ） (2022-04-09T22:07:34Z) - A Survey on Dynamic Neural Networks for Natural Language Processing [13.949219077548687]
動的ニューラルネットワークは、計算と時間のサブ線形増加を伴うニューラルネットワークのスケールアップを可能にする。
本研究では,NLPにおける3種類の動的ニューラルネットワークの進歩を概説する。
論文 参考訳（メタデータ） (2022-02-15T00:13:05Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。