論文の概要: ML$^2$Tuner: Efficient Code Tuning via Multi-Level Machine Learning Models

• arxiv url: http://arxiv.org/abs/2411.10764v1
• Date: Sat, 16 Nov 2024 10:10:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:32:29.460475
• Title: ML$^2$Tuner: Efficient Code Tuning via Multi-Level Machine Learning Models
• Title（参考訳）: ML$^2$Tuner: マルチレベル機械学習モデルによる効率的なコードチューニング
• Authors: JooHyoung Cha, Munyoung Lee, Jinse Kwon, Jubin Lee, Jemin Lee, Yongin Kwon,
• Abstract要約: 自動チューニング効率を向上させるマルチレベル機械学習チューニング技術であるML$2$Tunerを紹介する。 ML$2$Tunerは、必要なサンプルの12.3%しか使用せず、同等のパフォーマンス向上を実現していることを示す。
• 参考スコア（独自算出の注目度）: 11.541008810106845
• License:
• Abstract: The increasing complexity of deep learning models necessitates specialized hardware and software optimizations, particularly for deep learning accelerators. Existing autotuning methods often suffer from prolonged tuning times due to profiling invalid configurations, which can cause runtime errors. We introduce ML$^2$Tuner, a multi-level machine learning tuning technique that enhances autotuning efficiency by incorporating a validity prediction model to filter out invalid configurations and an advanced performance prediction model utilizing hidden features from the compilation process. Experimental results on an extended VTA accelerator demonstrate that ML$^2$Tuner achieves equivalent performance improvements using only 12.3% of the samples required with a similar approach as TVM and reduces invalid profiling attempts by an average of 60.8%, Highlighting its potential to enhance autotuning performance by filtering out invalid configurations
• Abstract（参考訳）: ディープラーニングモデルの複雑さの増大は、特にディープラーニングアクセラレーターのために、特別なハードウェアとソフトウェア最適化を必要とする。 既存の自動チューニングメソッドは、しばしば、不正な設定をプロファイリングするため、実行時のエラーを引き起こすため、長いチューニング時間に悩まされる。 ML$^2$Tunerは,不正な構成をフィルタする妥当性予測モデルと,コンパイルプロセスから隠れた特徴を利用する高度な性能予測モデルを組み合わせることで,自動チューニング効率を向上させるマルチレベル機械学習チューニング技術である。 拡張VTAアクセラレータの実験結果によると、ML$^2$TunerはTVMと同様のアプローチで要求されるサンプルの12.3%しか使用せず、不正なプロファイリングの試みを平均60.8%削減し、不正な構成をフィルタリングすることで自動チューニング性能を高める可能性を示した。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
  ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。 手作り正則化技術を用いた頑健な微調整への最近のアプローチ 我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
  論文  参考訳（メタデータ） (2024-01-18T18:58:49Z)
• Transfer-Learning-Based Autotuning Using Gaussian Copula [0.0]
  ガウスコプラ(GC)に基づくTLに基づく最初の自動チューニング手法を提案する。 GCは、最初の評価で64.37%のピーク数ショットのパフォーマンスを達成することができる。さらに、GCモデルは、最大33.39$times$ speedupという数ショット転送予算を決定することができる。
  論文  参考訳（メタデータ） (2024-01-09T16:52:57Z)
• Cascaded Multi-task Adaptive Learning Based on Neural Architecture Search [22.570517194736325]
  本稿では,エンド・ツー・エンドのマルチタスクモデルを最適化する適応学習手法を提案する。 提案手法では,SLURPの完全微調整に対応するパラメータを8.7%に圧縮することで,手作業による類似のチューニング手法を探索することができる。
  論文  参考訳（メタデータ） (2023-10-23T06:43:50Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• A Learned Performance Model for Tensor Processing Units [5.733911161090224]
  本稿では,処理ユニット(TPU)インスタンス用のグラフプログラムのコーパスから,パフォーマンスモデルを学習する方法を示す。 学習したモデルでは,2つのタスクにおいて,高度に最適化された分析性能モデルよりも優れていることを示す。 オートチューニングは、TPUへのアクセスが制限されたり、高価な設定で、より高速なプログラムを見つけるのに役立つ。
  論文  参考訳（メタデータ） (2020-08-03T17:24:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。