論文の概要: Automatic Tuning of Tensorflow's CPU Backend using Gradient-Free Optimization Algorithms

• arxiv url: http://arxiv.org/abs/2109.06266v1
• Date: Mon, 13 Sep 2021 19:10:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 15:48:30.568429
• Title: Automatic Tuning of Tensorflow's CPU Backend using Gradient-Free Optimization Algorithms
• Title（参考訳）: 勾配自由最適化アルゴリズムを用いたTensorflowのCPUバックエンドの自動チューニング
• Authors: Derssie Mebratu, Niranjan Hasabnis, Pietro Mercati, Gaurit Sharma, Shamima Najnin
• Abstract要約: Deep Learning (DL) アプリケーションは、ジーンやPyTorchといったDLライブラリやフレームワークを使って構築されている。 これらのフレームワークは複雑なパラメータを持ち、優れたトレーニングを得るために調整する。 そこで,本論文では,トレーニングと推論性能を改善するために,DLフレームワークのパラメータをチューニングする問題をブラックボックス問題として扱う。
• 参考スコア（独自算出の注目度）: 0.6543507682026964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep learning (DL) applications are built using DL libraries and frameworks such as TensorFlow and PyTorch. These frameworks have complex parameters and tuning them to obtain good training and inference performance is challenging for typical users, such as DL developers and data scientists. Manual tuning requires deep knowledge of the user-controllable parameters of DL frameworks as well as the underlying hardware. It is a slow and tedious process, and it typically delivers sub-optimal solutions. In this paper, we treat the problem of tuning parameters of DL frameworks to improve training and inference performance as a black-box optimization problem. We then investigate applicability and effectiveness of Bayesian optimization (BO), genetic algorithm (GA), and Nelder-Mead simplex (NMS) to tune the parameters of TensorFlow's CPU backend. While prior work has already investigated the use of Nelder-Mead simplex for a similar problem, it does not provide insights into the applicability of other more popular algorithms. Towards that end, we provide a systematic comparative analysis of all three algorithms in tuning TensorFlow's CPU backend on a variety of DL models. Our findings reveal that Bayesian optimization performs the best on the majority of models. There are, however, cases where it does not deliver the best results.
• Abstract（参考訳）: 現代的なディープラーニング(DL)アプリケーションは、TensorFlowやPyTorchといったDLライブラリとフレームワークを使って構築されている。 これらのフレームワークは複雑なパラメータを持ち、優れたトレーニングと推論性能を得るためにそれらをチューニングすることは、DL開発者やデータサイエンティストのような典型的なユーザにとって難しい。 手動チューニングには、DLフレームワークのユーザ制御可能なパラメータと基盤となるハードウェアの深い知識が必要である。 それは遅くて退屈なプロセスであり、通常、準最適ソリューションを提供する。 本稿では、dlフレームワークのチューニングパラメータの問題をブラックボックス最適化問題として、トレーニングと推論性能を改善するために扱う。 次に、TensorFlowのCPUバックエンドのパラメータをチューニングするために、ベイズ最適化(BO)、遺伝的アルゴリズム(GA)、Nelder-Mead Simplex(NMS)の適用性と有効性を検討する。 以前の研究は、同様の問題に対するNelder-Mead Simplexの使用を既に調査しているが、他の一般的なアルゴリズムの適用性に関する洞察を与えていない。 そのために、TensorFlowのCPUバックエンドをさまざまなDLモデルでチューニングする3つのアルゴリズムの体系的な比較分析を提供する。 その結果,ベイジアン最適化がほとんどのモデルで最良であることがわかった。 しかし、最良の結果を提供しないケースもある。

関連論文リスト

• Enabling Efficient On-Device Fine-Tuning of LLMs Using Only Inference Engines [17.539008562641303]
  大規模言語モデル(LLM)は現在、大規模なクラウドサーバ上で事前トレーニングされ、微調整されている。 次のフロンティアはLLMパーソナライズであり、ファンデーションモデルをユーザ/タスク固有のデータで微調整することができる。 リソース制約のあるエッジデバイスの微調整は、かなりのメモリと計算要求のために大きな課題となる。
  論文  参考訳（メタデータ） (2024-09-23T20:14:09Z)
• Multi-fidelity Constrained Optimization for Stochastic Black Box Simulators [1.6385815610837167]
  上記の問題に対処するために、Scout-Nd (Stochastic Constrained Optimization for N dimensions) アルゴリズムを導入する。 Scout-Ndは効率よく勾配を推定し、推定器勾配のノイズを低減し、計算労力をさらに削減するために多重忠実性スキームを適用する。 提案手法を標準ベンチマークで検証し,既存の手法よりも優れた性能を示すパラメータの最適化の有効性を示す。
  論文  参考訳（メタデータ） (2023-11-25T23:36:38Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training [0.0]
  そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。 CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。 その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
  論文  参考訳（メタデータ） (2023-06-13T18:22:24Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• I/O Lower Bounds for Auto-tuning of Convolutions in CNNs [2.571796445061562]
  本研究では,複数のサブ計算からなる合成アルゴリズムの一般i/o下界理論を考案する。 我々は,データ再利用を十分に活用することにより,2つの主畳み込みアルゴリズムの近似i/o最適データフロー戦略を設計する。 実験結果から,自動チューニング方式によるデータフロー戦略は,cuDNNよりも平均約3.32倍の性能向上を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-12-31T15:46:01Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。