Fugu-MT 論文翻訳(概要): Neural Architecture Design for GPU-Efficient Networks

論文の概要: Neural Architecture Design for GPU-Efficient Networks

arxiv url: http://arxiv.org/abs/2006.14090v4
Date: Tue, 11 Aug 2020 22:54:26 GMT
ステータス: 処理完了
システム内更新日: 2022-11-17 13:08:50.610772
Title: Neural Architecture Design for GPU-Efficient Networks
Title（参考訳）: gpu効率ネットワークのためのニューラルアーキテクチャ設計
Authors: Ming Lin, Hesen Chen, Xiuyu Sun, Qi Qian, Hao Li, Rong Jin
Abstract要約: 本稿では,GPU効率のよいネットワークを設計するための一般的な原理を提案する。提案するフレームワークをベースとして,GPU効率の良いネットワーク群(genets)を簡潔に設計する。 ImageNetで$geq 81.3%の精度を達成する一方で、genetはGPUでEfficienNetより6.4ドル速い。
参考スコア（独自算出の注目度）: 27.07089149328155
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Many mission-critical systems are based on GPU for inference. It requires not only high recognition accuracy but also low latency in responding time. Although many studies are devoted to optimizing the structure of deep models for efficient inference, most of them do not leverage the architecture of \textbf{modern GPU} for fast inference, leading to suboptimal performance. To address this issue, we propose a general principle for designing GPU-efficient networks based on extensive empirical studies. This design principle enables us to search for GPU-efficient network structures effectively by a simple and lightweight method as opposed to most Neural Architecture Search (NAS) methods that are complicated and computationally expensive. Based on the proposed framework, we design a family of GPU-Efficient Networks, or GENets in short. We did extensive evaluations on multiple GPU platforms and inference engines. While achieving $\geq 81.3\%$ top-1 accuracy on ImageNet, GENet is up to $6.4$ times faster than EfficienNet on GPU. It also outperforms most state-of-the-art models that are more efficient than EfficientNet in high precision regimes. Our source code and pre-trained models are available from \url{https://github.com/idstcv/GPU-Efficient-Networks}.
Abstract（参考訳）: 多くのミッションクリティカルシステムは推論のためのGPUに基づいている。高い認識精度だけでなく、応答時間における低レイテンシも要求される。多くの研究は、効率的な推論のためにディープモデルの構造を最適化することに専念しているが、そのほとんどは高速な推論のために \textbf{ Modern GPU} のアーキテクチャを利用せず、最適以下の性能をもたらす。そこで本研究では,GPU効率のよいネットワークを設計するための一般的な原理を提案する。この設計原理により、複雑な計算コストのかかるほとんどのneural architecture search (nas) メソッドとは対照的に、単純で軽量な方法で、gpu効率のよいネットワーク構造を効果的に探索することができる。提案するフレームワークをベースとして,GPU効率の良いネットワーク群(genets)を簡潔に設計する。複数のGPUプラットフォームと推論エンジンについて広範な評価を行った。 ImageNetで$\geq 81.3\%$ Top-1精度を達成する一方で、genetはGPUでEfficienNetよりも最大6.4$高速である。また、高精度なレシエーションでは、EfficientNetよりも効率的である最先端のモデルよりも優れています。我々のソースコードと事前訓練済みモデルは、 \url{https://github.com/idstcv/GPU-Efficient-Networks}から入手できる。

関連論文リスト

INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文参考訳（メタデータ） (2023-08-11T04:24:39Z)
DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
論文参考訳（メタデータ） (2023-07-14T22:52:27Z)
A Study on the Intersection of GPU Utilization and CNN Inference [8.084016058894779]
我々は、畳み込みニューラルネットワーク(CNN)の推論時GPU利用を改善する余地があることを示す。我々は、CNNの推論時GPU利用を改善する余地があり、GPU利用に関する知識は、利用自体をターゲットとしないアプリケーションでさえも恩恵を受ける可能性があることを論じる。
論文参考訳（メタデータ） (2022-12-15T16:11:40Z)
NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search [55.75621026447599]
NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
論文参考訳（メタデータ） (2022-06-18T10:17:15Z)
Speedup deep learning models on GPU by taking advantage of efficient unstructured pruning and bit-width reduction [0.0]
この研究は、いくつかの畳み込みニューラルネットワーク(CNN)の刈り取りと、グラフィック処理ユニット(GPU)におけるそれらの効率の改善に焦点を当てている。 Nvidia Deep Neural Network(cuDnn)ライブラリは、GPUのためのディープラーニングアルゴリズム(DL)の最も効果的な実装である。
論文参考訳（メタデータ） (2021-12-28T19:36:41Z)
NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
論文参考訳（メタデータ） (2021-10-24T12:20:04Z)
Computational Performance Predictions for Deep Neural Network Training: A Runtime-Based Approach [1.5857983167543392]
本稿では,ユーザが情報と費用効率のよいGPU選択を行うための,新しい実践手法を提案する。我々は、(i)ウェーブスケーリング、または(ii)GPUの実行モデルに基づく技術、または(ii)事前訓練されたマルチレイヤーパーセプトロンを用いて、トレーニングイテレーション中の各操作の実行時間を1つのGPUから別のGPUにスケーリングすることで予測を行う。この手法をSurferというPythonライブラリに実装し、ResNet-50、Inception v3、Transformer、GNMT、DCGANで正確なイテレーション実行時間予測を行う。
論文参考訳（メタデータ） (2021-01-31T20:17:46Z)
When deep learning models on GPU can be accelerated by taking advantage of unstructured sparsity [0.0]
本稿では、グラフィック処理ユニット(GPU)上でのスパース畳み込みニューラルネットワーク(CNN)層の効率向上に焦点をあてる。現代のCNNモデルは、大容量の係数を必要とし、畳み込みを行うために数百万のMAC操作を必要としている。畳み込み層の計算を高速化するために,直接スパース演算を用いることの価値を示す。
論文参考訳（メタデータ） (2020-11-12T10:13:48Z)
Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
論文参考訳（メタデータ） (2020-07-17T18:29:17Z)
DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
論文参考訳（メタデータ） (2020-03-27T17:55:21Z)
DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。