論文の概要: Value Function Based Performance Optimization of Deep Learning Workloads

• arxiv url: http://arxiv.org/abs/2011.14486v1
• Date: Mon, 30 Nov 2020 01:20:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 07:57:02.064381
• Title: Value Function Based Performance Optimization of Deep Learning Workloads
• Title（参考訳）: 価値関数に基づくディープラーニングワークロードの性能最適化
• Authors: Benoit Steiner and Chris Cummins and Horace He and Hugh Leather
• Abstract要約: 部分スケジュールの予測性能を正確に予測する新しい手法を提案する。 これにより、深いニューラルネットワークのスループットをHalideの2.6倍、TVMの1.5倍向上させるスケジュールを見つけることができる。
• 参考スコア（独自算出の注目度）: 3.6827120585356528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learning techniques become ubiquitous, the efficiency of neural network implementations is becoming correspondingly paramount. Frameworks, such as Halide and TVM, separate out the algorithmic representation of the network from the schedule that determines its implementation. Finding good schedules, however, remains extremely challenging. We model this scheduling problem as a sequence of optimization choices, and present a new technique to accurately predict the expected performance of a partial schedule. By leveraging these predictions we can make these optimization decisions greedily and rapidly identify an efficient schedule. This enables us to find schedules that improve the throughput of deep neural networks by 2.6x over Halide and 1.5x over TVM. Moreover, our technique is two to three orders of magnitude faster than that of these tools, and completes in seconds instead of hours.
• Abstract（参考訳）: 機械学習技術がユビキタス化するにつれ、ニューラルネットワークの実装の効率性が最重要になっている。 HalideやTVMのようなフレームワークは、ネットワークのアルゴリズム表現を、その実装を決定するスケジュールから切り離している。 しかし、良いスケジュールを見つけるのは非常に難しい。 このスケジューリング問題を最適化選択のシーケンスとしてモデル化し,部分スケジュールの期待性能を正確に予測する新しい手法を提案する。 これらの予測を活用することで、これらの最適化決定を欲深く、迅速に効率的なスケジュールを特定できます。 これにより、深いニューラルネットワークのスループットをHalideの2.6倍、TVMの1.5倍向上させるスケジュールを見つけることができる。 さらに,本手法はこれらのツールよりも2～3桁高速で,数時間ではなく数秒で完了する。

関連論文リスト

• Accelerating Exact Combinatorial Optimization via RL-based Initialization -- A Case Study in Scheduling [1.3053649021965603]
  本研究の目的は、最適化問題に対処する機械学習(ML)を用いた革新的なアプローチを開発することである。 1) 粗粒スケジューラとしての解法, 2) 解緩和, 3) ILPによる正確な解法の3つのステップを含む新しい2段階のRL-to-ILPスケジューリングフレームワークを導入する。 提案フレームワークは, 正確なスケジューリング手法と比較して, 最大128ドルの高速化を実現しつつ, 同一のスケジューリング性能を示す。
  論文  参考訳（メタデータ） (2023-08-19T15:52:43Z)
• Mechanic: A Learning Rate Tuner [52.4242550204696]
  我々は,任意の基本最適化アルゴリズムの学習率尺度係数を調整し,自動的にスケジュールする手法を導入し,それをテクスチャメカニックと呼ぶ。 各種バッチサイズ,スケジュール,基本最適化アルゴリズムを用いて,大規模深層学習タスクにおけるテクスチャメカニックを厳格に評価する。
  論文  参考訳（メタデータ） (2023-05-31T19:32:43Z)
• RESPECT: Reinforcement Learning based Edge Scheduling on Pipelined Coral Edge TPUs [12.952987240366781]
  本研究は、最適化アルゴリズムの挙動を学習する強化学習(RL)に基づくスケジューリングフレームワークを提案する。 RLは、実行時のオーバーヘッドを短くすることで、ほぼ最適のスケジューリング結果を生成する。 我々のフレームワークは、商用コンパイラ上での実世界のオンチップランタイム推論速度アップを最大$sim2.5times$で実証しています。
  論文  参考訳（メタデータ） (2023-04-10T17:22:12Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Apply Artificial Neural Network to Solving Manpower Scheduling Problem [15.848399017432262]
  本稿では,マルチシフトマンパワースケジューリング問題を解決するために,ディープラーニングと組み合わせた新しいモデルを提案する。 我々は,時系列に基づくニューラルネットワークトレーニング手法を用いて,長期・長期のスケジューリング課題を解決する。 我々の研究は、ニューラルネットワークとディープラーニング戦略が、同様の問題を効果的に解決する可能性を示唆している。
  論文  参考訳（メタデータ） (2021-05-07T23:54:00Z)
• CoSA: Scheduling by Constrained Optimization for Spatial Accelerators [1.9149970150912705]
  我々は、Deep Neural Networks(DNN)アクセラレーターをスケジューリングするための制約最適化に基づくアプローチであるCoSAを提案する。 探索空間をナビゲートするデザイナの手法や反復的な手法に依存する既存のアプローチとは対照的に、CoSAはスケジューリング決定を制約最適化問題として表現している。 CoSA生成スケジュールは、最大2.5xの幾何学平均で最先端のアプローチを大幅に上回ることを実証します。
  論文  参考訳（メタデータ） (2021-05-05T07:17:25Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。