論文の概要: TIRAMISU: A Polyhedral Compiler for Dense and Sparse Deep Learning

• arxiv url: http://arxiv.org/abs/2005.04091v1
• Date: Thu, 7 May 2020 07:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 23:24:17.925934
• Title: TIRAMISU: A Polyhedral Compiler for Dense and Sparse Deep Learning
• Title（参考訳）: TIRAMISU:Dense and Sparse Deep Learningのための多面的コンパイラ
• Authors: Riyadh Baghdadi, Abdelkader Nadir Debbagh, Kamel Abdous, Fatima Zohra Benhamida, Alex Renda, Jonathan Elliott Frankle, Michael Carbin and Saman Amarasinghe
• Abstract要約: 本稿では,スパースニューラルネットワークとリカレントニューラルネットワークを最適化するコンパイラを実演する。 我々のアプローチは少なくともIntel MKL-DNNと一致し、場合によっては5倍(マルチコアCPU上で)性能が向上する。
• 参考スコア（独自算出の注目度）: 10.145707529307462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we demonstrate a compiler that can optimize sparse and recurrent neural networks, both of which are currently outside of the scope of existing neural network compilers (sparse neural networks here stand for networks that can be accelerated with sparse tensor algebra techniques). Our demonstration includes a mapping of sparse and recurrent neural networks to the polyhedral model along with an implementation of our approach in TIRAMISU, our state-of-the-art polyhedral compiler. We evaluate our approach on a set of deep learning benchmarks and compare our results with hand-optimized industrial libraries. Our results show that our approach at least matches Intel MKL-DNN and in some cases outperforms it by 5x (on multicore-CPUs).
• Abstract（参考訳）: 本稿では、既存のニューラルネットワークコンパイラの範囲外であるスパースおよびリカレントニューラルネットワークを最適化できるコンパイラを実証する(ここでは、スパーステンソル代数技術で高速化可能なネットワークをスパースニューラルネットワークと呼ぶ)。 私たちのデモには、スパースニューラルネットワークとリカレントニューラルネットワークをポリヘドラルモデルにマッピングすることと、最先端のポリヘドラルコンパイラであるTIRAMISUでのアプローチの実装が含まれています。 本手法を深層学習ベンチマークで評価し,手動最適化産業図書館との比較を行った。 我々の手法は少なくともIntel MKL-DNNと一致し、場合によっては5倍の性能を発揮する。

関連論文リスト

• Parallel Neural Networks in Golang [0.0]
  本稿では,並列ニューラルネットワーク(PNN)と新しいプログラミング言語Golangの設計と実装について述べる。 Golangとその固有の並列化サポートは、並列ニューラルネットワークシミュレーションにおいて、シーケンシャルなバリエーションに比べて処理時間が大幅に短縮されていることが証明された。
  論文  参考訳（メタデータ） (2023-04-19T11:56:36Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Learning with Multigraph Convolutional Filters [153.20329791008095]
  MSPモデルに基づいて情報を処理する階層構造として多グラフ畳み込みニューラルネットワーク(MGNN)を導入する。 また,MGNNにおけるフィルタ係数のトラクタブルな計算手法と,レイヤ間で転送される情報の次元性を低減するための低コストな手法を開発した。
  論文  参考訳（メタデータ） (2022-10-28T17:00:50Z)
• Lipschitz Bound Analysis of Neural Networks [0.0]
  リプシッツ境界推定は、ディープニューラルネットワークを正則化し、敵の攻撃に対して堅牢にする効果的な方法である。 本稿では、畳み込みニューラルネットワーク(CNN)のための非自明なリプシッツ境界証明書を得る際の大きなギャップについて述べる。 また,畳み込みニューラルネットワーク(CNN)を完全連結ネットワークに変換するために,畳み込み層やToeplitz行列の展開も可能であることを示す。
  論文  参考訳（メタデータ） (2022-07-14T23:40:22Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel [1.6383321867266318]
  Implicit Composite Kernel (ICK) は、ニューラルネットワークによって暗黙的に定義されたカーネルと、既知のプロパティをモデル化するために選択された第2のカーネル関数を組み合わせたカーネルである。 合成データセットと実世界のデータセットの両方において、ICKの優れた性能と柔軟性を実証する。
  論文  参考訳（メタデータ） (2022-05-15T21:32:44Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• SparseDNN: Fast Sparse Deep Learning Inference on CPUs [1.6244541005112747]
  CPUをターゲットとしたスパースディープラーニング推論エンジンであるSparseDNNを紹介します。 我々のスパースコードジェネレータは,最先端のスパースライブラリや高密度ライブラリよりも大幅に高速化できることを示す。
  論文  参考訳（メタデータ） (2021-01-20T03:27:35Z)
• Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
  レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。 本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:01Z)
• PolyScientist: Automatic Loop Transformations Combined with Microkernels for Optimization of Deep Learning Primitives [55.79741270235602]
  深層学習カーネル開発のためのハイブリッドソリューションを開発する。 我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
  論文  参考訳（メタデータ） (2020-02-06T08:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。