論文の概要: Data-efficient Performance Modeling via Pre-training
- arxiv url: http://arxiv.org/abs/2501.14438v1
- Date: Fri, 24 Jan 2025 12:14:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-27 20:40:39.73288
- Title: Data-efficient Performance Modeling via Pre-training
- Title（参考訳）: 事前学習によるデータ効率性能モデリング
- Authors: Chunting Liu, Riyadh Baghdadi,
- Abstract要約: 本稿では,ラベル付きデータの必要性を低減するために,オートエンコーダを用いた自己教師付き事前学習方式を提案する。
ランダムプログラムの大規模なデータセットを事前トレーニングすることで、オートエンコーダはコードと変換の表現を学び、パフォーマンスモデルのためのプログラムを埋め込む。
- 参考スコア（独自算出の注目度）: 0.1227734309612871
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Performance models are essential for automatic code optimization, enabling compilers to predict the effects of code transformations on performance and guide search for optimal transformations. Building state-of-the-art performance models with deep learning, however, requires vast labeled datasets of random programs -- an expensive and time-consuming process, stretching over months. This paper introduces a self-supervised pre-training scheme with autoencoders to reduce the need for labeled data. By pre-training on a large dataset of random programs, the autoencoder learns representations of code and transformations, which are then used to embed programs for the performance model. Implemented in the Tiramisu autoscheduler, our approach improves model accuracy with less data. For example, to achieve a MAPE of 20.72%, the original model requires 18 million data points, whereas our method achieves a similar MAPE of 22.44% with only 3.6 million data points, reducing data requirements by 5x.
- Abstract（参考訳）: パフォーマンスモデルは自動コード最適化に不可欠であり、コンパイラはコード変換がパフォーマンスに与える影響を予測し、最適な変換を導くことができる。
しかし、ディープラーニングを使って最先端のパフォーマンスモデルを構築するには、高価な時間を要するランダムプログラムの膨大なラベル付きデータセットが必要です。
本稿では,ラベル付きデータの必要性を低減するために,オートエンコーダを用いた自己教師付き事前学習方式を提案する。
ランダムプログラムの大規模なデータセットを事前トレーニングすることで、オートエンコーダはコードと変換の表現を学び、パフォーマンスモデルのためのプログラムを埋め込む。
提案手法はTiramisu Autoschedulerに実装されており、より少ないデータでモデルの精度を向上させる。
例えば、20.72%のMAPEを達成するためには、元のモデルは1800万のデータポイントを必要とするが、我々の手法は360万のデータポイントしか持たない22.44%のMAPEを達成し、データ要求を5倍削減する。
関連論文リスト
- Anyprefer: An Agentic Framework for Preference Data Synthesis [62.3856754548222]
ターゲットモデルを調整するための高品質な嗜好データを合成するフレームワークであるAnypreferを提案する。
審査員モデルの応答を正確に評価するために、外部ツールが導入される。
合成されたデータは、58Kの高品質な選好ペアからなる新しい選好データセットであるAnyprefer-V1にコンパイルされる。
論文 参考訳（メタデータ） (2025-04-27T15:21:59Z) - Data-efficient LLM Fine-tuning for Code Generation [30.441431693349866]
大規模言語モデル(LLM)は、コード生成タスクにおいて大きな可能性を証明している。
既存のアプローチは通常、微調整のために大量の合成データを生成する。
コードに基づくLLMのトレーニングの有効性と効率を向上させるために,データ選択戦略を提案する。
論文 参考訳（メタデータ） (2025-04-17T06:29:28Z) - Ultra-Resolution Adaptation with Ease [62.56434979517156]
我々は,EmphURAEと呼ばれる超高分解能適応のための重要なガイドラインのセットを提案する。
重み行列の小さな成分のチューニングは、合成データが利用できない場合に広く使用される低ランクアダプタよりも優れていることを示す。
URAEは、FLUX1.1[Pro] Ultraのような最先端のクローズドソースモデルに匹敵する2K世代の性能を達成している。
論文 参考訳（メタデータ） (2025-03-20T16:44:43Z) - AutoScale: Automatic Prediction of Compute-optimal Data Composition for Training LLMs [61.13296177652599]
本稿では,異なる領域からのトレーニングデータの最適構成がスケール依存であることを示す。
我々は、潜在的に大規模なトレーニングデータスケールでデータ合成を最適化するための、新しい実用的なアプローチである*AutoScale*を紹介します。
GPT-2Large and BERT pre-training の評価は,トレーニング収束性および下流性能向上における *AutoScale* の有効性を示す。
論文 参考訳（メタデータ） (2024-07-29T17:06:30Z) - Crafting Efficient Fine-Tuning Strategies for Large Language Models [2.633490094119608]
200サンプル未満の細調整された大型言語モデル(LLM)は、製品属性抽出タスクにおいて、モデル精度を70%から88%に向上させることができる。
トレーニング時間全体の20%のモデルを評価するベイズハイパーパラメータ最適化法は,最終的なモデル性能と強く相関する。
このアプローチにより、独立したテストセットで評価すると、ベースラインモデルよりも精度が2%向上した。
論文 参考訳（メタデータ） (2024-07-18T21:36:00Z) - SmallToLarge (S2L): Scalable Data Selection for Fine-tuning Large Language Models by Summarizing Training Trajectories of Small Models [23.209325465507497]
教師付き微調整のための効率的でスケーラブルなデータ選択手法を提案する。
S2Lは数学的な問題解決のために,SFTのデータ効率を著しく向上させることを示した。
また,S2Lは対象モデルよりも40倍小さい参照モデルを用いてデータ選択を行うことができることを示す。
論文 参考訳（メタデータ） (2024-03-12T07:45:33Z) - AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。
手作り正則化技術を用いた頑健な微調整への最近のアプローチ
我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
論文 参考訳（メタデータ） (2024-01-18T18:58:49Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Farzi Data: Autoregressive Data Distillation [34.39112473620335]
自動回帰機械学習タスクにおけるデータ蒸留について検討する。
本稿では、イベントシーケンスデータセットを少数の合成シーケンスに要約するFarziを提案する。
論文 参考訳（メタデータ） (2023-10-15T23:23:27Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。
モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。
本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
論文 参考訳（メタデータ） (2023-03-02T21:48:22Z) - Complementary Ensemble Learning [1.90365714903665]
我々は最先端のディープラーニングモデルの性能向上手法を考案した。
具体的には、最先端モデルの不確実性を補完できる補助モデルを訓練する。
論文 参考訳（メタデータ） (2021-11-09T03:23:05Z) - AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。
提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
論文 参考訳（メタデータ） (2020-08-16T11:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。