論文の概要: TuneAhead: Predicting Fine-tuning Performance Before Full Training Begins

• arxiv url: http://arxiv.org/abs/2606.17660v1
• Date: Tue, 16 Jun 2026 08:21:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.350995
• Title: TuneAhead: Predicting Fine-tuning Performance Before Full Training Begins
• Title（参考訳）: TuneAhead: フルトレーニング前の微調整パフォーマンス予測
• Authors: Yuxiang Luo, Haonan Long, Chen Wang, Qiqi Duan, Xiaotian Lin, Yanwei Xu, Yuyu Luo, Weikai Yang, Nan Tang,
• Abstract要約: 微調整性能の事前予測のためのフレームワークであるTUNEAHEADを提案する。 Qwen2.5-7B-Instructで1,300以上の微調整が実施され、TUNEAHEADは一貫して強いベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 13.910569688140354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large language models (LLMs) is compute-intensive and error-prone: model performance depends sensitively on data quality and hyperparameter choices, and naïve runs can even degrade model performance. This raises a practical question:can we predict fine-tuning performance before committing to a full training run? We present TUNEAHEAD, a lightweight framework for pre-hoc prediction of fine-tuning performance. TUNEAHEAD encodes each candidate run as a meta-feature vector that combines static dataset descriptors with dynamic probe features from a short standardized probe. A predictor maps these features to performance estimates, while SHAP-based attributions provide interpretable diagnostics that reveal which specific features drive the prediction. Across 1,300+ fine-tuning runs on Qwen2.5-7B-Instruct, TUNEAHEAD consistently outperforms strong baselines such as Early-Stop Extrapolation and ProxyLM. On a held-out test set of 370 runs, TUNEAHEAD achieves an RMSE of 1.47 percentage points and places 95.1% of predictions within +3/-3 percentage points of the true score. These accurate continuous predictions support practical go/no-go screening policies that can reduce unnecessary full fine-tuning while retaining most promising runs.
• Abstract（参考訳）: モデルパフォーマンスは、データ品質とハイパーパラメータの選択に敏感に依存し、na've runはモデルパフォーマンスを低下させる。 完全なトレーニング実行にコミットする前に、微調整のパフォーマンスを予測できますか? 微調整性能の事前予測のための軽量フレームワークであるTUNEAHEADを提案する。 TUNEAHEADは、静的データセット記述子と短い標準化されたプローブの動的プローブ機能を組み合わせたメタ機能ベクタとして、各候補をエンコードする。 予測器はこれらの特徴を性能推定にマップし、SHAPベースの属性は解釈可能な診断を提供し、どの特徴が予測を駆動しているかを明らかにする。 Qwen2.5-7B-Instructで1,300以上の微調整を行い、TUNEAHEADはEarly-Stop ExtrapolationやProxyLMなどの強力なベースラインを一貫して上回っている。 370ランのホールドアウトテストセットでは、TUNEAHEADは1.47ポイントのRMSEを達成し、95.1%の予測を真スコアの+3/3ポイントに設定する。 これらの正確な連続予測は、最も有望な実行を維持しながら不要な完全な微調整を削減できる実用的なgo/no-goスクリーニングポリシーをサポートする。

関連論文リスト

• Goal-Oriented Influence-Maximizing Data Acquisition for Learning and Optimization [28.53710231018475]
  逆曲率による不確実性認識を保ちながら、明示的な後部推論を回避する能動的取得アルゴリズムを提案する。 GOIMDAは、ユーザが指定したゴール関数に対する期待する影響を最大化し、入力を選択する。 一般化線形モデルでは,GOIMDA はゴールアライメントと予測バイアスを考慮した補正項までの予測エントロピー最小化を近似する。
  論文  参考訳（メタデータ） (2026-02-23T07:57:11Z)
• Improving Prediction Certainty Estimation for Reliable Early Exiting via Null Space Projection [16.838728310658105]
  本稿では,Certainty-Aware Probability (CAP)スコアに基づく新しい早期退避手法を提案する。 本研究では,各タスクの平均高速化率は2.19倍であり,性能劣化は無視できることを示す。
  論文  参考訳（メタデータ） (2025-06-08T05:08:34Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Valeo4Cast: A Modular Approach to End-to-End Forecasting [93.86257326005726]
  我々のソリューションはArgoverse 2 end-to-end Forecasting Challengeで63.82 mAPfでランクインした。 私たちは、知覚から予測までエンドツーエンドのトレーニングを通じて、このタスクに取り組む現在のトレンドから離れ、代わりにモジュラーアプローチを使用します。 私たちは、昨年の優勝者より+17.1ポイント、今年の優勝者より+13.3ポイント、予測結果を+17.1ポイント上回る。
  論文  参考訳（メタデータ） (2024-06-12T11:50:51Z)
• PAC-Bayes Generalization Certificates for Learned Inductive Conformal Prediction [27.434939269672288]
  我々はPAC-Bayes理論を用いて、集合値予測器のカバレッジと効率の一般化境界を求める。 我々はこれらの理論結果を活用し、キャリブレーションデータを用いてモデルのパラメータやスコア関数を微調整する実用的なアルゴリズムを提供する。 我々は, 回帰および分類タスクに対するアプローチの評価を行い, ICP 上の Hoeffding bound-based PAC 保証を用いて, 基準値の調整を行った。
  論文  参考訳（メタデータ） (2023-12-07T19:40:44Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)
• PerfSAGE: Generalized Inference Performance Predictor for Arbitrary Deep Learning Models on Edge Devices [8.272409756443539]
  本稿では、任意のDNNliteグラフ上の推論遅延、エネルギー、メモリフットプリントを予測する新しいグラフニューラルネットワークであるPerfSAGEについて述べる。 このデータセットを用いて、PerfSAGEをトレーニングし、すべてのターゲットとモデル検索空間にわたって平均絶対パーセンテージ誤差の5%で最先端の予測精度を示す実験結果を提供する。
  論文  参考訳（メタデータ） (2023-01-26T08:59:15Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
  NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。 まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。 次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。