論文の概要: Pruner: A Draft-then-Verify Exploration Mechanism to Accelerate Tensor Program Tuning
- arxiv url: http://arxiv.org/abs/2402.02361v3
- Date: Wed, 09 Apr 2025 17:26:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-10 13:04:02.709374
- Title: Pruner: A Draft-then-Verify Exploration Mechanism to Accelerate Tensor Program Tuning
- Title（参考訳）: A Draft-then-Verify Exploration Mechanism toAccelerate Tensor Program Tuning
- Authors: Liang Qiao, Jun Shi, Xiaoyu Hao, Xi Fang, Sen Zhang, Minfan Zhao, Ziqi Zhu, Junshi Chen, Hong An, Xulong Tang, Bing Li, Honghui Yuan, Xinyang Wang,
- Abstract要約: プログラムチューニングを高速化するために,Pruner と MoA-Pruner を提案する。
Prunerはスケジュール探索を高速化する"Draft-then-Verify"探索メカニズムである。
MoA-Prunerは、クロスプラットフォームのオンライン無意識に対処するためのMomentumオンライン適応戦略を導入した。
- 参考スコア（独自算出の注目度）: 11.139231636612479
- License:
- Abstract: Tensor program tuning is essential for the efficient deployment of deep neural networks. Search-based approaches have demonstrated scalability and effectiveness in automatically finding high-performance programs for specific hardware. However, the search process is often inefficient, taking hours or even days to discover optimal programs due to the exploration mechanisms guided by an accurate but slow-learned cost model. Meanwhile, the learned cost model trained on one platform cannot seamlessly adapt online to another, which we call cross-platform online unawareness. In this work, we propose Pruner and MoA-Pruner. Pruner is a "Draft-then-Verify" exploration mechanism that accelerates the schedule search process. Instead of applying the complex learned cost model to all explored candidates, Pruner drafts small-scale potential candidates by introducing a naive Symbol-based Analyzer (draft model), then identifies the best candidates by the learned cost model. MoA-Pruner introduces a Momentum online Adaptation strategy to address the cross-platform online unawareness. We incorporate Pruner into the TVM and conduct extensive experiments on three GPU-based platforms. Results show considerable speedup in schedule search time. In online tuning scenarios, Pruner and MoA-Pruner achieve an average speedup of $2.6 \times$ and $4.82 \times$ compared to Ansor. In offline tuning scenarios, Pruner achieves an average speedup of $4.75 \times$ and $4.05\times$ compared to TenSet and TLP, respectively. Furthermore, Pruner achieves an average speedup of $4.08 \times$ compared to MetaSchedule on TensorCore.
- Abstract（参考訳）: 深層ニューラルネットワークの効率的な展開には,テンソルプログラムチューニングが不可欠である。
検索ベースのアプローチは、特定のハードウェアの高性能プログラムを自動的に見つけるためのスケーラビリティと有効性を示している。
しかし、探索プロセスは効率が悪く、正確なコストモデルによって導かれる探索機構のため、最適なプログラムを見つけるのに数時間や数日を要した。
一方、あるプラットフォームでトレーニングされた学習コストモデルは、他のプラットフォームにシームレスに適応することができません。
本研究では,PrunerとMoA-Prunerを提案する。
Prunerはスケジュール探索を高速化する"Draft-then-Verify"探索メカニズムである。
複雑な学習コストモデルを適用する代わりに、Pruner氏は、単純なシンボルベースのアナライザー(ドラフトモデル)を導入して、小規模の潜在的な候補をドラフトし、学習コストモデルによって最良の候補を特定する。
MoA-Prunerは、クロスプラットフォームのオンライン無意識に対処するためのMomentumオンライン適応戦略を導入した。
我々はPrunerをTVMに組み込んで、3つのGPUベースのプラットフォームで広範な実験を行う。
その結果,スケジュール検索時間の大幅な高速化が得られた。
オンラインチューニングのシナリオでは、PrunerとMoA-Prunerは平均2.6 \times$と4.82 \times$をAnsorと比較して達成している。
オフラインチューニングのシナリオでは、PrunerはTenSetやTLPと比較して平均4.75 \times$と4.05\times$を達成している。
さらに、PrunerはTensorCoreのMetaScheduleと比較して平均4.08 \times$を達成している。
関連論文リスト
- ETS: Efficient Tree Search for Inference-Time Scaling [61.553681244572914]
テストタイムの計算スケーリングにおいて有望なアプローチのひとつは、プロセス報酬モデルに対する検索である。
木探索過程における軌跡の多様性は、多様性の増大がさらなる探索を促進するため、探索の精度に影響を与える。
本稿では,冗長なトラジェクトリを抽出し,必要な多様なトラジェクトリを維持しながら,KVの共有を促進する効率的なツリー探索(ETS)を提案する。
論文 参考訳（メタデータ） (2025-02-19T09:30:38Z) - A hybrid framework for effective and efficient machine unlearning [12.499101994047862]
マシン・アンラーニング(MU)は、既に訓練済みのモデルパラメータから取り消されたサンプルのインプリントを取り除くために提案されている。
我々は、その上で、全体的な成功を達成するために、新しいハイブリッド戦略を提示する。
論文 参考訳（メタデータ） (2024-12-19T03:59:26Z) - Finding Transformer Circuits with Edge Pruning [71.12127707678961]
自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。
本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。
その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
論文 参考訳（メタデータ） (2024-06-24T16:40:54Z) - Graspness Discovery in Clutters for Fast and Accurate Grasp Detection [57.81325062171676]
グレープネス(graspness)とは、散らばった場面で把握可能な領域を区別する幾何学的手がかりに基づく品質である。
本研究では,探索過程を近似するカスケード把握モデルを構築した。
大規模なベンチマークであるGraspNet-1Billionの実験では,提案手法が従来の手法よりも大きなマージンで優れていたことが示されている。
論文 参考訳（メタデータ） (2024-06-17T02:06:47Z) - FootstepNet: an Efficient Actor-Critic Method for Fast On-line Bipedal Footstep Planning and Forecasting [0.0]
本研究では,障害物のある環境下を移動するための効率的なフットステップ計画法を提案する。
また,地域目標の異なる候補に到達するのに必要なステップ数を素早く推定できる予測手法を提案する。
本研究は,RoboCup 2023コンペティションにおいて,シミュレーション結果と,子供サイズのヒューマノイドロボットへの展開によるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-19T09:48:18Z) - Efficient Verification-Based Face Identification [50.616875565173274]
効率の良いニューラルモデルで顔認証を行う際の問題点を$f$で検討する。
我々のモデルは、23kパラメータと5M浮動小数点演算(FLOPS)しか必要としない、かなり小さな$f$に導かれる。
我々は、6つの顔認証データセットを用いて、我々の手法が最先端のモデルよりも同等か優れていることを示す。
論文 参考訳（メタデータ） (2023-12-20T18:08:02Z) - Tune As You Scale: Hyperparameter Optimization For Compute Efficient
Training [0.0]
そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。
CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。
その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
論文 参考訳（メタデータ） (2023-06-13T18:22:24Z) - TLP: A Deep Learning-based Cost Model for Tensor Program Tuning [15.841139749937351]
テンソルプログラムのチューニングを容易にする深層学習に基づくコストモデルであるTLPを提案する。
我々は、TLPがCPUワークロードで平均検索時間を9.1XX高速化できることを示した。
これらのテクニックをAnsorフレームワークに組み込んで,詳細な実験を行う。
論文 参考訳（メタデータ） (2022-11-07T14:11:43Z) - APP: Anytime Progressive Pruning [104.36308667437397]
本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。
提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
論文 参考訳（メタデータ） (2022-04-04T16:38:55Z) - Online Apprenticeship Learning [58.45089581278177]
見習い学習(AL)では、コスト関数にアクセスせずにマルコフ決定プロセス(MDP)が与えられます。
目標は、事前に定義されたコスト関数のセットで専門家のパフォーマンスに一致するポリシーを見つけることです。
ミラー下降型ノンレグレットアルゴリズムを2つ組み合わせることで,OAL問題を効果的に解くことができることを示す。
論文 参考訳（メタデータ） (2021-02-13T12:57:51Z) - Ansor: Generating High-Performance Tensor Programs for Deep Learning [45.437816016043534]
ディープラーニングアプリケーションのためのテンソルプログラム生成フレームワークAnsorを提案する。
Ansorは、探索空間の階層的な表現からプログラムをサンプリングすることで、多くの最適化の組み合わせを探索する。
Ansorは、既存の最先端アプローチの検索空間外にある高性能プログラムを見つけることができる。
論文 参考訳（メタデータ） (2020-06-11T19:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。