論文の概要: HARL: Hierarchical Adaptive Reinforcement Learning Based Auto Scheduler
for Neural Networks
- arxiv url: http://arxiv.org/abs/2211.11172v1
- Date: Mon, 21 Nov 2022 04:15:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 23:03:14.480408
- Title: HARL: Hierarchical Adaptive Reinforcement Learning Based Auto Scheduler
for Neural Networks
- Title（参考訳）: HARL:階層型適応強化学習に基づくニューラルネットワークの自動スケジューリング
- Authors: Zining Zhang, Bingsheng He, Zhenjie Zhang
- Abstract要約: 効率的なテンソルプログラム探索のための強化学習に基づく自動スケジューリングシステムであるHARLを提案する。
HarLは、最先端のオートスケジューラと比較して、テンソル演算子の性能を22%改善し、探索速度を4.3倍改善する。
また、エンドツーエンドのニューラルネットワークでは、推論性能と探索速度も大幅に向上する。
- 参考スコア（独自算出の注目度）: 51.71682428015139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To efficiently perform inference with neural networks, the underlying tensor
programs require sufficient tuning efforts before being deployed into
production environments. Usually, enormous tensor program candidates need to be
sufficiently explored to find the one with the best performance. This is
necessary to make the neural network products meet the high demand of
real-world applications such as natural language processing, auto-driving, etc.
Auto-schedulers are being developed to avoid the need for human intervention.
However, due to the gigantic search space and lack of intelligent search
guidance, current auto-schedulers require hours to days of tuning time to find
the best-performing tensor program for the entire neural network.
In this paper, we propose HARL, a reinforcement learning (RL) based
auto-scheduler specifically designed for efficient tensor program exploration.
HARL uses a hierarchical RL architecture in which learning-based decisions are
made at all different levels of search granularity. It also automatically
adjusts exploration configurations in real-time for faster performance
convergence. As a result, HARL improves the tensor operator performance by 22%
and the search speed by 4.3x compared to the state-of-the-art auto-scheduler.
Inference performance and search speed are also significantly improved on
end-to-end neural networks.
- Abstract（参考訳）: ニューラルネットワークによる推論を効率的に実行するには、運用環境にデプロイする前に、基礎となるテンソルプログラムに十分なチューニング作業が必要である。
通常、最高のパフォーマンスを持つプログラムを見つけるには、膨大なテンソルプログラム候補を十分に探す必要がある。
このことは、ニューラルネットワーク製品が自然言語処理や自動運転など、現実世界のアプリケーションの高要求を満たすために必要です。
人的介入を避けるために自動スケジュールが開発されている。
しかし、巨大な検索スペースとインテリジェントな検索ガイダンスが欠如しているため、現在のオートスケジューラは、ニューラルネットワーク全体の最高のパフォーマンスのテンソルプログラムを見つけるのに数時間から数日のチューニング時間を必要とする。
本稿では,効率的なテンソルプログラム探索を目的とした強化学習(RL)に基づく自動スケジューリングシステムであるHARLを提案する。
HARLは階層的なRLアーキテクチャを使用しており、学習に基づく決定はあらゆるレベルの検索粒度で行われる。
また、高速なパフォーマンス収束のために、リアルタイムで探索設定を自動的に調整する。
その結果、harlはテンソル演算子の性能を22%向上させ、検索速度は最先端のオートスケジューラと比較して4.3倍向上した。
エンドツーエンドのニューラルネットワークでは、推論性能と探索速度も大幅に向上する。
関連論文リスト
- TAP: Accelerating Large-Scale DNN Training Through Tensor Automatic
Parallelisation [19.009600866053923]
本稿では,最適なデータとテンソル並列スケジュールを自動的に検索するモデル並列化フレームワークTAPを提案する。
実験によると、TAPは最先端の自動並列処理フレームワークよりも20ドルから160ドル高速である。
論文 参考訳（メタデータ） (2023-02-01T05:22:28Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - NASOA: Towards Faster Task-oriented Online Fine-tuning with a Zoo of
Models [90.6485663020735]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクに対して単純で効果的で一般的なアプローチである。
我々は,タスク指向のより高速な微調整を実現するため,NASOAというニューラルアーキテクチャ検索とオンライン適応フレームワークを共同で提案する。
論文 参考訳（メタデータ） (2021-08-07T12:03:14Z) - Smart Scheduling based on Deep Reinforcement Learning for Cellular
Networks [18.04856086228028]
深部強化学習(DRL)に基づくスマートスケジューリング手法を提案する。
実装フレンドリーな設計、すなわちエージェントのためのスケーラブルなニューラルネットワーク設計と仮想環境トレーニングフレームワークを提供する。
本研究では, DRLベースのスマートスケジューリングが従来のスケジューリング方式を上回り, 実用システムにも適用できることを示した。
論文 参考訳（メタデータ） (2021-03-22T02:09:16Z) - Superiorities of Deep Extreme Learning Machines against Convolutional
Neural Networks [3.04585143845864]
deep learning (dl)は、入力データを詳細に分析する人工知能のための機械学習手順である。
DLはグラフィカル処理ユニット機能の一般的な改善で人気がある。
Deep Extreme Learning Machine(Deep ELM)は、迅速な分類問題を解決するための最速かつ効果的な方法の1つです。
論文 参考訳（メタデータ） (2021-01-21T08:22:18Z) - Scheduling Real-time Deep Learning Services as Imprecise Computations [11.611969843191433]
本稿では,インテリジェントリアルタイムエッジサービスのための効率的なリアルタイムスケジューリングアルゴリズムを提案する。
これらのサービスは、音声認識、LIDAR処理、マシンビジョンなどのマシンインテリジェンスタスクを実行する。
ディープニューラルネットワークを不正確な計算として、それぞれに必須部分といくつかのオプション部分を持つことを示す。
論文 参考訳（メタデータ） (2020-11-02T16:43:04Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - Gradient-only line searches to automatically determine learning rates
for a variety of stochastic training algorithms [0.0]
Inexact (GOLS-I) である Gradient-Only Line Search を用いて、ニューラルネットワークトレーニングアルゴリズムの選択のための学習率スケジュールを決定する。
GOLS-Iの学習率スケジュールは、手動で調整された学習率、最適化アルゴリズム7以上、ニューラルネットワークアーキテクチャ3タイプ、データセット23、損失関数2つと競合する。
論文 参考訳（メタデータ） (2020-06-29T08:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。