論文の概要: Daydream: Accurately Estimating the Efficacy of Optimizations for DNN Training

• arxiv url: http://arxiv.org/abs/2006.03318v1
• Date: Fri, 5 Jun 2020 09:08:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 03:25:36.321675
• Title: Daydream: Accurately Estimating the Efficacy of Optimizations for DNN Training
• Title（参考訳）: Daydream: DNNトレーニングにおける最適化の有効性を正確に評価する
• Authors: Hongyu Zhu, Amar Phanishayee, Gennady Pekhimenko
• Abstract要約: プロファイリングツールは、“最適化Xは私のモデルの性能にどのように影響するのか? プログラマがDNN最適化の有効性を効率的に探求するのに役立つ新しいプロファイリングツールであるDaydreamを提案する。 本研究では,Daydreamが主流のDNN最適化手法をモデル化し,性能改善をもたらす最適化の有効性を正確に予測できることを示す。
• 参考スコア（独自算出の注目度）: 8.157520622932374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep neural network (DNN) training jobs use complex and heterogeneous software/hardware stacks. The efficacy of software-level optimizations can vary significantly when used in different deployment configurations. It is onerous and error-prone for ML practitioners and system developers to implement each optimization separately, and determine which ones will improve performance in their own configurations. Unfortunately, existing profiling tools do not aim to answer predictive questions such as "How will optimization X affect the performance of my model?". We address this critical limitation, and proposes a new profiling tool, Daydream, to help programmers efficiently explore the efficacy of DNN optimizations. Daydream models DNN execution with a fine-grained dependency graph based on low-level traces collected by CUPTI, and predicts runtime by simulating execution based on the dependency graph. Daydream maps the low-level traces using DNN domain-specific knowledge, and introduces a set of graph-transformation primitives that can easily model a wide variety of optimizations. We show that Daydream is able to model most mainstream DNN optimization techniques, and accurately predict the efficacy of optimizations that will result in significant performance improvements.
• Abstract（参考訳）: 現代のディープニューラルネットワーク(DNN)トレーニングジョブは、複雑で異質なソフトウェア/ハードウェアスタックを使用する。 ソフトウェアレベルの最適化の有効性は、異なるデプロイメント構成で使用する場合、大きく異なる。 MLの実践者とシステム開発者は、それぞれの最適化を別々に実装し、どの最適化が自身の構成でパフォーマンスを改善するかを決定するのは、面倒でエラーを起こしやすい。 残念ながら、既存のプロファイリングツールは、“最適化Xは私のモデルの性能にどのように影響するのか? この限界に対処し、プログラマがDNN最適化の有効性を効率的に探求するための新しいプロファイリングツールDaydreamを提案する。 Daydreamは、CUPTIが収集した低レベルのトレースに基づいて、きめ細かい依存性グラフでDNNの実行をモデル化し、依存性グラフに基づいて実行をシミュレートすることでランタイムを予測する。 daydreamはdnnドメイン固有の知識を使って低レベルのトレースをマッピングし、様々な最適化を簡単にモデル化できるグラフ変換プリミティブを導入する。 本研究では,Daydreamが主流のDNN最適化手法をモデル化し,性能改善をもたらす最適化の有効性を正確に予測できることを示す。

関連論文リスト

• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Alternately Optimized Graph Neural Networks [33.98939289745346]
  グラフ上の半教師付き学習のための新しい最適化フレームワークを提案する。 提案手法は交互最適化アルゴリズムにより便利に解けるので,効率は大幅に向上する。
  論文  参考訳（メタデータ） (2022-06-08T01:50:08Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Scaling Up Deep Neural Network Optimization for Edge Inference [20.9711130126031]
  ディープニューラルネットワーク(DNN)は、携帯電話、ドローン、ロボット、ウェアラブルといったエッジデバイスにますますデプロイされ、統合されている。 DNN推論を直接エッジデバイス(エッジ推論)で実行するためには、DNN設計を最適化することが不可欠である。 まず、プロキシデバイス上に構築された性能予測器を再利用し、性能単調性を利用してDNN最適化をスケールアップする。 第2のアプローチでは、見積もりが可能なスケーラブルなパフォーマンス予測器を構築します。
  論文  参考訳（メタデータ） (2020-09-01T07:47:22Z)
• Enhanced data efficiency using deep neural networks and Gaussian processes for aerodynamic design optimization [0.0]
  随伴型最適化法は空気力学的形状設計において魅力的である。 複数の最適化問題が解決されている場合、それらは違法に高価になる可能性がある。 本稿では,高コストな随伴解法に取って代わる機械学習を実現するサロゲートベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-15T15:09:21Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。