論文の概要: Data-efficient Performance Modeling via Pre-training
- arxiv url: http://arxiv.org/abs/2501.14438v1
- Date: Fri, 24 Jan 2025 12:14:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-27 14:55:42.617675
- Title: Data-efficient Performance Modeling via Pre-training
- Title（参考訳）: 事前学習によるデータ効率性能モデリング
- Authors: Chunting Liu, Riyadh Baghdadi,
- Abstract要約: 本稿では,ラベル付きデータの必要性を低減するために,オートエンコーダを用いた自己教師付き事前学習方式を提案する。
ランダムプログラムの大規模なデータセットを事前トレーニングすることで、オートエンコーダはコードと変換の表現を学び、パフォーマンスモデルのためのプログラムを埋め込む。
- 参考スコア（独自算出の注目度）: 0.1227734309612871
- License:
- Abstract: Performance models are essential for automatic code optimization, enabling compilers to predict the effects of code transformations on performance and guide search for optimal transformations. Building state-of-the-art performance models with deep learning, however, requires vast labeled datasets of random programs -- an expensive and time-consuming process, stretching over months. This paper introduces a self-supervised pre-training scheme with autoencoders to reduce the need for labeled data. By pre-training on a large dataset of random programs, the autoencoder learns representations of code and transformations, which are then used to embed programs for the performance model. Implemented in the Tiramisu autoscheduler, our approach improves model accuracy with less data. For example, to achieve a MAPE of 20.72%, the original model requires 18 million data points, whereas our method achieves a similar MAPE of 22.44% with only 3.6 million data points, reducing data requirements by 5x.
- Abstract（参考訳）: パフォーマンスモデルは自動コード最適化に不可欠であり、コンパイラはコード変換がパフォーマンスに与える影響を予測し、最適な変換を導くことができる。
しかし、ディープラーニングを使って最先端のパフォーマンスモデルを構築するには、高価な時間を要するランダムプログラムの膨大なラベル付きデータセットが必要です。
本稿では,ラベル付きデータの必要性を低減するために,オートエンコーダを用いた自己教師付き事前学習方式を提案する。
ランダムプログラムの大規模なデータセットを事前トレーニングすることで、オートエンコーダはコードと変換の表現を学び、パフォーマンスモデルのためのプログラムを埋め込む。
提案手法はTiramisu Autoschedulerに実装されており、より少ないデータでモデルの精度を向上させる。
例えば、20.72%のMAPEを達成するためには、元のモデルは1800万のデータポイントを必要とするが、我々の手法は360万のデータポイントしか持たない22.44%のMAPEを達成し、データ要求を5倍削減する。
関連論文リスト
- Crafting Efficient Fine-Tuning Strategies for Large Language Models [2.633490094119608]
200サンプル未満の細調整された大型言語モデル(LLM)は、製品属性抽出タスクにおいて、モデル精度を70%から88%に向上させることができる。
トレーニング時間全体の20%のモデルを評価するベイズハイパーパラメータ最適化法は,最終的なモデル性能と強く相関する。
このアプローチにより、独立したテストセットで評価すると、ベースラインモデルよりも精度が2%向上した。
論文 参考訳（メタデータ） (2024-07-18T21:36:00Z) - Data Shapley in One Training Run [88.59484417202454]
Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。
既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。
本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
論文 参考訳（メタデータ） (2024-06-16T17:09:24Z) - SmallToLarge (S2L): Scalable Data Selection for Fine-tuning Large Language Models by Summarizing Training Trajectories of Small Models [23.209325465507497]
教師付き微調整のための効率的でスケーラブルなデータ選択手法を提案する。
S2Lは数学的な問題解決のために,SFTのデータ効率を著しく向上させることを示した。
また,S2Lは対象モデルよりも40倍小さい参照モデルを用いてデータ選択を行うことができることを示す。
論文 参考訳（メタデータ） (2024-03-12T07:45:33Z) - AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。
手作り正則化技術を用いた頑健な微調整への最近のアプローチ
我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
論文 参考訳（メタデータ） (2024-01-18T18:58:49Z) - Not All Data Matters: An End-to-End Adaptive Dataset Pruning Framework
for Enhancing Model Performance and Efficiency [9.460023981858319]
本稿では,AdaPruner と呼ばれる適応型 DAtaset PRUNing フレームワークを提案する。
AdaPrunerは、冗長なサンプルを期待プルーニング比率に反復的にプルークする。
トレーニングデータの最大10～30%をプルーニングしても、モデルパフォーマンスを著しく向上させることができる。
論文 参考訳（メタデータ） (2023-12-09T16:01:21Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Farzi Data: Autoregressive Data Distillation [34.39112473620335]
自動回帰機械学習タスクにおけるデータ蒸留について検討する。
本稿では、イベントシーケンスデータセットを少数の合成シーケンスに要約するFarziを提案する。
論文 参考訳（メタデータ） (2023-10-15T23:23:27Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。
モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。
本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
論文 参考訳（メタデータ） (2023-03-02T21:48:22Z) - Complementary Ensemble Learning [1.90365714903665]
我々は最先端のディープラーニングモデルの性能向上手法を考案した。
具体的には、最先端モデルの不確実性を補完できる補助モデルを訓練する。
論文 参考訳（メタデータ） (2021-11-09T03:23:05Z) - AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。
提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
論文 参考訳（メタデータ） (2020-08-16T11:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。