論文の概要: MetaTune: Meta-Learning Based Cost Model for Fast and Efficient Auto-tuning Frameworks

• arxiv url: http://arxiv.org/abs/2102.04199v2
• Date: Tue, 9 Feb 2021 06:25:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 13:09:14.175856
• Title: MetaTune: Meta-Learning Based Cost Model for Fast and Efficient Auto-tuning Frameworks
• Title（参考訳）: MetaTune: 高速で効率的な自動チューニングフレームワークのためのメタラーニングベースのコストモデル
• Authors: Jaehun Ryu, Hyojin Sung
• Abstract要約: 本稿では,メタ学習に基づくコストモデルであるMetaTuneを提案する。 このフレームワークは、4つのCNNモデルに対して平均8～13%の予測時間を提供し、同等または低い最適化時間を持ち、クロスプラットフォームのケースでは転送学習を10%上回っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning compiler frameworks are gaining ground as a more portable back-end for deep learning applications on increasingly diverse hardware. However, they face the daunting challenge of matching performance offered by hand-tuned target-specific libraries. While auto-tuning frameworks with statistical cost models can provide dynamic and efficient code optimization, they suffer from large space exploration and cost model training overheads. This paper proposes MetaTune, a meta-learning based cost model that more quickly and accurately predicts the performance of optimized codes with pre-trained model parameters. MetaTune encodes convolution kernel codes as structurally similar graphs to facilitate meta-learning, meta-trains a GNN model with a very small input data set, and then predicts optimization parameters for unseen convolution operations with varying sizes and structures during compilation. The resulting framework with MetaTune provides 8 to 13% better inference time on average for four CNN models with comparable or lower optimization time while outperforming transfer learning by 10% in cross-platform cases.
• Abstract（参考訳）: ディープラーニングのコンパイラフレームワークは、ますます多様なハードウェア上で、ディープラーニングアプリケーションのよりポータブルなバックエンドとして定着しつつある。 しかし、ハンドチューニングされたターゲット固有のライブラリが提供するパフォーマンスをマッチングするという恐ろしい課題に直面している。 統計的コストモデルを備えた自動チューニングフレームワークは動的で効率的なコード最適化を提供するが、大きなスペース探索とコストモデルのトレーニングオーバーヘッドに苦しむ。 本稿では,事前学習したモデルパラメータを用いて最適化されたコードの性能をより迅速かつ正確に予測するメタラーニングベースのコストモデルであるmetatuneを提案する。 MetaTuneは、畳み込みカーネルコードを構造的に類似したグラフとしてエンコードし、メタ学習を容易にし、非常に小さな入力データセットでGNNモデルをメタトレーニングし、コンパイル中にさまざまなサイズと構造を持つ畳み込み操作の最適化パラメータを予測する。 metatuneで得られたフレームワークは、4つのcnnモデルで平均8～13%の推論時間を提供し、同等または低い最適化時間を持つ一方で、クロスプラットフォームケースではトランスファー学習を10%上回っています。

関連論文リスト

• G-Meta: Distributed Meta Learning in GPU Clusters for Large-Scale Recommender Systems [16.343248795178685]
  本稿では,textbfGPUクラスタ上での最適化に基づくメタDLRMモデルの大規模トレーニングのためのフレームワークを提供する。 各種実験結果から,G-Metaは,統計的性能を損なうことなく,顕著なトレーニング速度を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-01-09T03:35:43Z)
• Leveraging Reinforcement Learning and Large Language Models for Code Optimization [14.602997316032706]
  本稿では,コード最適化の複雑さを低減するための新しいフレームワークを提案する。 提案するフレームワークは,大規模言語モデル(LLM)と強化学習(RL)に基づく。 我々は,新しい強化学習アルゴリズムであるCodeT5言語モデルとRRHFを用いて,PIEデータセット上でいくつかの実験を行った。
  論文  参考訳（メタデータ） (2023-12-09T19:50:23Z)
• CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
  CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。 モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
  論文  参考訳（メタデータ） (2023-12-01T08:02:16Z)
• Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How [62.467716468917224]
  本稿では,最適事前学習モデルとハイパーパラメータを共同で探索し,微調整する手法を提案する。 本手法は,一連のデータセット上で,事前学習したモデルの性能に関する知識を伝達する。 得られたアプローチによって、新しいデータセットの正確な事前学習モデルを迅速に選択できることを実証的に実証する。
  論文  参考訳（メタデータ） (2023-06-06T16:15:26Z)
• Slapo: A Schedule Language for Progressive Optimization of Large Deep Learning Model Training [17.556432199389615]
  Slapoは、テンソルレベルの演算子の実行をその算術的定義から切り離すスケジュール言語である。 SlapoはNVIDIA V100 GPUを8台搭載した1台のマシンで最大2.92倍のトレーニングスループットを向上できることを示す。
  論文  参考訳（メタデータ） (2023-02-16T00:34:53Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to Infer Hardware Performances [58.720142291102135]
  VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。 これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-05-09T22:48:39Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• A Learned Performance Model for Tensor Processing Units [5.733911161090224]
  本稿では,処理ユニット(TPU)インスタンス用のグラフプログラムのコーパスから,パフォーマンスモデルを学習する方法を示す。 学習したモデルでは,2つのタスクにおいて,高度に最適化された分析性能モデルよりも優れていることを示す。 オートチューニングは、TPUへのアクセスが制限されたり、高価な設定で、より高速なプログラムを見つけるのに役立つ。
  論文  参考訳（メタデータ） (2020-08-03T17:24:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。