論文の概要: Look Before You Launch: Learned Throughput Prediction for Hardware Selection in a Production Training Fleet

• arxiv url: http://arxiv.org/abs/2611.04057v1
• Date: Mon, 02 Nov 2026 23:02:14 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:41:11.498484
• Title: Look Before You Launch: Learned Throughput Prediction for Hardware Selection in a Production Training Fleet
• Title（参考訳）: 生産訓練艦隊におけるハードウェア選択のアウトプット予測
• Abstract要約: 本稿では,機械学習のパフォーマンス予測サービスLEAPを紹介する。 応募時に各トレーニングジョブのスループットを、候補ハードウェアタイプ毎に予測する。 単価当たりのスループットを予測して候補をランク付けする。
• 参考スコア（独自算出の注目度）: 10.692003735799327
• License:
• Abstract: In mixed-vendor accelerator fleets, many training jobs can run on several hardware types, and the best choice depends on each job's throughput on each type. Routing a job needs a throughput estimate for every candidate type before the job runs. We present LEAP, a machine learning performance prediction service that predicts each training job's throughput on every candidate hardware type at submission time and ranks the candidates by predicted throughput per unit cost. It routes tens of thousands of training job attempts a day across hundreds of different model types and more than 20 hardware types in a production fleet. LEAP predicts throughput from submission-time training configuration, including each job's prior throughput. LEAP reaches an accuracy of 77% over 30 nightly retrains, higher than the lookup table it replaced and at least as high as every alternative model we tested, including fine-tuned language models. Over six months, the share of eligible training GPU-hours that received a ranking by LEAP grew from 58% to 95%, and we estimate that it saves about 3% of training computational cost. In this paper, we identify the drivers that actually move accuracy and those that do not. We offer these as lessons for teams building performance predictors at fleet scale.
• Abstract（参考訳）: 混合ベンダーアクセラレーターでは、多くのトレーニングジョブが複数のハードウェアタイプで実行できる。 ジョブのルーティングには、ジョブの実行前に、候補タイプ毎にスループットの見積が必要になります。 提案する機械学習性能予測サービスLEAPは,候補ハードウェアタイプ毎に各トレーニングジョブのスループットを予測し,単位コスト当たりのスループットを予測して候補をランク付けする。 数百の異なるモデルタイプと20以上のハードウェアタイプで、1日に数万のトレーニング作業が実施されている。 LEAPは、各ジョブの事前スループットを含む、提出時のトレーニング設定からスループットを予測する。 LEAPは30回の夜間再トレーニングで77%の精度に達しました。 6ヶ月で、LEAPでランク付けされたトレーニングGPU時間のシェアは58%から95%に増加し、トレーニング計算コストの約3%を削減できると見積もった。 本稿では,精度を実際に動かせるドライバと,そうでないドライバを同定する。 当社はこれらを,パフォーマンス予測をフリートスケールで構築するチームにとっての教訓として提供しています。

関連論文リスト

• Meta Models: Models that Model Learning [21.49349810955267]
  他モデルの学習行動を予測するメタモデルについて検討する。 実言語モデルトレーニングレコードをネイティブ数値データとして扱う。 既製のインコンテキスト学習者であるTabPFNは、微調整されたLLMメタモデルにマッチまたは性能を向上することができる。
  論文  参考訳（メタデータ） (2026-10-27T10:47:17Z)
• Optimizing Effective Training Time for Large-Scale Recommendation Systems [12.448976564666532]
  私たちの最大の推奨ワークロードは、数千のGPU上で1日に数千億のトレインの例を処理します。 この作業の前には、エンドツーエンドのウォールタイムの50～60%しか新しいデータのトレーニングを行なわなかった。 我々は、このライフサイクルのオーバーヘッドと、フルトレーニングスタックにまたがる最適化のセットについて、フリートスケールで研究する。
  論文  参考訳（メタデータ） (2026-10-01T17:02:16Z)
• A Pragmatic VLA Foundation Model [66.76609538850478]
  我々はLingBot-VLAを開発し、9つの人気のデュアルアームロボット構成から約2万時間のリアルタイムデータを収集した。 我々のモデルは競争相手よりも明らかな優位性を実現し、その強靭な性能と広範な一般化性を示している。 ロボット学習の分野を前進させるために、コード、ベースモデル、ベンチマークデータへのオープンアクセスを提供する。
  論文  参考訳（メタデータ） (2026-01-26T17:08:04Z)
• Scaling Open-Ended Reasoning to Predict the Future [56.672065928345525]
  我々は、オープンエンドの予測質問の予測を行うために言語モデルを訓練する。 トレーニングデータをスケールアップするために、毎日のニュースで報告されるグローバルイベントから新しい予測質問を合成する。 トレーニングの予測によるキャリブレーションの改善は、一般的なベンチマークで一般化されている。
  論文  参考訳（メタデータ） (2025-12-31T18:59:51Z)
• Dynamics of Learning: Generative Schedules from Latent ODEs [0.14323566945483496]
  ニューラルネットワークのトレーニング性能を動的システムとしてモデル化する新しい学習率スケジューラを提案する。 本手法は計算効率が高く,一般化に依存しないものであり,ML実験追跡プラットフォーム上に容易に階層化することができる。
  論文  参考訳（メタデータ） (2025-09-27T02:20:18Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• SwiftLearn: A Data-Efficient Training Method of Deep Learning Models using Importance Sampling [3.8330834108666667]
  ディープラーニングモデルのトレーニングを高速化するデータ効率のよいアプローチとして,SwiftLearnを提案する。 このサブセットは、ウォームアップ段階でデータセット全体にわたって測定された重要基準に基づいて選択される。 我々は、平均精度を0.92%以下に抑えながら、エンドツーエンドの平均スピードアップを3.36倍にすることで、データの90%近くを落とせることを示した。
  論文  参考訳（メタデータ） (2023-11-25T22:51:01Z)
• Rethinking Closed-loop Training for Autonomous Driving [82.61418945804544]
  本研究は,学習エージェントの成功に対する異なるトレーニングベンチマーク設計の影響を分析した最初の実証的研究である。 複数ステップのルックアヘッドで計画を行うRLベースの駆動エージェントであるtrajectory value learning (TRAVL)を提案する。 実験の結果,TRAVLはすべてのベースラインと比較してより速く学習でき,安全な操作が可能であることがわかった。
  論文  参考訳（メタデータ） (2023-06-27T17:58:39Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• Oort: Efficient Federated Learning via Guided Participant Selection [5.01181273401802]
  フェデレートラーニング(FL)は、エッジデータを用いたモデルトレーニングとテストを可能にする。 既存の取り組みでは、FL参加者をランダムに選び、モデルやシステムの効率が悪くなります。 Oortは1.2x-14.1x、最終モデルの精度を1.3%-9.8%改善した。
  論文  参考訳（メタデータ） (2020-10-12T23:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。