Fugu-MT 論文翻訳(概要): Transfer-Learning-Based Autotuning Using Gaussian Copula

論文の概要: Transfer-Learning-Based Autotuning Using Gaussian Copula

arxiv url: http://arxiv.org/abs/2401.04669v1
Date: Tue, 9 Jan 2024 16:52:57 GMT
ステータス: 処理完了
システム内更新日: 2024-01-10 15:12:34.435471
Title: Transfer-Learning-Based Autotuning Using Gaussian Copula
Title（参考訳）: gaussian copulaを用いたトランスファーラーニングに基づく自動チューニング
Authors: Thomas Randall (1), Jaehoon Koo (2), Brice Videau (3), Michael Kruse (3), Xingfu Wu (3), Paul Hovland (3), Mary Hall (4), Rong Ge (1), Prasanna Balaprakash (5) ((1) Clemson University, (2) Hanyang University, (3) Argonne National Laboratory, (4) University of Utah, (5) Oak Ridge National Laboratory)
Abstract要約: ガウスコプラ(GC)に基づくTLに基づく最初の自動チューニング手法を提案する。 GCは、最初の評価で64.37%のピーク数ショットのパフォーマンスを達成することができる。さらに、GCモデルは、最大33.39$times$ speedupという数ショット転送予算を決定することができる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As diverse high-performance computing (HPC) systems are built, many opportunities arise for applications to solve larger problems than ever before. Given the significantly increased complexity of these HPC systems and application tuning, empirical performance tuning, such as autotuning, has emerged as a promising approach in recent years. Despite its effectiveness, autotuning is often a computationally expensive approach. Transfer learning (TL)-based autotuning seeks to address this issue by leveraging the data from prior tuning. Current TL methods for autotuning spend significant time modeling the relationship between parameter configurations and performance, which is ineffective for few-shot (that is, few empirical evaluations) tuning on new tasks. We introduce the first generative TL-based autotuning approach based on the Gaussian copula (GC) to model the high-performing regions of the search space from prior data and then generate high-performing configurations for new tasks. This allows a sampling-based approach that maximizes few-shot performance and provides the first probabilistic estimation of the few-shot budget for effective TL-based autotuning. We compare our generative TL approach with state-of-the-art autotuning techniques on several benchmarks. We find that the GC is capable of achieving 64.37% of peak few-shot performance in its first evaluation. Furthermore, the GC model can determine a few-shot transfer budget that yields up to 33.39$\times$ speedup, a dramatic improvement over the 20.58$\times$ speedup using prior techniques.
Abstract（参考訳）: 多様な高性能コンピューティング(HPC)システムが構築されているため、アプリケーションがこれまで以上に大きな問題を解決する機会が生まれる。これらのHPCシステムとアプリケーションチューニングの複雑さが著しく増大していることから、オートチューニングのような経験的パフォーマンスチューニングは近年、有望なアプローチとして現れている。その効果にもかかわらず、オートチューニングはしばしば計算コストの高いアプローチである。転送学習(TL)ベースのオートチューニングは、事前チューニングのデータを活用することでこの問題に対処しようとしている。現在の自動チューニングのためのtlメソッドは、パラメータの設定とパフォーマンスの関係をモデル化するのにかなりの時間を費やしており、これは新しいタスクをチューニングする(すなわち、経験的評価がほとんどない)場合、効果がない。本稿では,gaussian copula(gc)に基づく最初の生成型tlベースの自動チューニング手法を導入し,検索空間の高パフォーマンス領域を先行データからモデル化し,新しいタスクに対して高パフォーマンスな構成を生成する。これにより、サンプリングベースのアプローチで、数ショットのパフォーマンスを最大化し、効率的なTLベースの自動チューニングのための数ショット予算の最初の確率的推定を提供する。いくつかのベンチマークにおいて,我々の生成TL手法と最先端のオートチューニング手法を比較した。我々はGCが最初の評価で64.37%のピークショット性能を達成可能であることを発見した。さらに、gcモデルは、最大33.39$\times$ speedupとなるわずかな転送予算を決定でき、以前の技術を使った20.58$\times$ speedupを劇的に改善する。

関連論文リスト

Controllable Prompt Tuning For Balancing Group Distributional Robustness [53.336515056479705]
グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。本稿では,制御可能なプロンプトチューニング(CPT)を提案する。突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
論文参考訳（メタデータ） (2024-03-05T06:23:55Z)
AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。手作り正則化技術を用いた頑健な微調整への最近のアプローチ我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
論文参考訳（メタデータ） (2024-01-18T18:58:49Z)
Surrogate-based Autotuning for Randomized Sketching Algorithms in Regression Problems [34.59249597626943]
本稿では,RandNLAアルゴリズムにおけるパラメータ選択の基本的な問題に対して,サロゲートに基づくオートチューニング手法を適用する方法について述べる。提案手法は, 提案手法により, ランダム探索よりもチューニングコストがはるかに低く, ほぼ最適性能が得られることを示す。
論文参考訳（メタデータ） (2023-08-30T02:50:54Z)
E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文参考訳（メタデータ） (2023-07-25T19:03:21Z)
Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文参考訳（メタデータ） (2023-06-27T05:43:47Z)
Tune As You Scale: Hyperparameter Optimization For Compute Efficient Training [0.0]
そこで本研究では,大規模モデルのロバストなチューニング手法を提案する。 CarBSはパフォーマンスコストフロンティアの周辺でローカル検索を行う。その結果、単純なベースラインをチューニングするだけで、ProcGenベンチマーク全体を効果的に解決できることがわかった。
論文参考訳（メタデータ） (2023-06-13T18:22:24Z)
Hyper-Parameter Auto-Tuning for Sparse Bayesian Learning [72.83293818245978]
我々は、疎ベイズ学習におけるハイパーパラメータチューニングのためのニューラルネットワーク(NN)ベースのオートチューニングを設計し、学習する。コンバージェンス率とリカバリ性能の大幅な向上が達成できることを示す。
論文参考訳（メタデータ） (2022-11-09T12:34:59Z)
Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文参考訳（メタデータ） (2021-06-17T00:01:18Z)
FIST: A Feature-Importance Sampling and Tree-Based Method for Automatic Design Flow Parameter Tuning [27.08970520268831]
限られた試行数で最高の設計品質を見つけることを目的とした,機械学習に基づく自動パラメータチューニング手法を提案する。我々は最先端のXGBoostモデルを活用し、オーバーフィッティングを克服する新しい動的ツリー手法を提案する。ベンチマーク回路の実験結果から,本手法は設計品質の25%向上やサンプリングコストの低減を実現していることがわかった。
論文参考訳（メタデータ） (2020-11-26T23:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。