論文の概要: Training Time Prediction for Mixed Precision-based Distributed Training

• arxiv url: http://arxiv.org/abs/2604.16145v1
• Date: Fri, 17 Apr 2026 15:18:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.976773
• Title: Training Time Prediction for Mixed Precision-based Distributed Training
• Title（参考訳）: 混合精度に基づく分散学習のための学習時間予測
• Abstract要約: 本稿では,様々な精度設定において頑健な精度を実現するための,高精度な分散トレーニング時間予測器を提案する。 精度を考慮せずにトレーニング時間予測が有意な予測誤差をもたらすことを示し、平均絶対パーセンテージ誤差(MAPE)が147.85%に達する。
• 参考スコア（独自算出の注目度）: 12.081247902923574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate prediction of training time in distributed deep learning is crucial for resource allocation, cost estimation, and job scheduling. We observe that the floating-point precision setting is a key determinant of training time, leading to training time variations of ~2.4x over its minimum. However, existing studies on distributed training time prediction rely on static model computation graphs that do not capture precision variations, including mixed precision. According to our experiments, training time prediction without considering precision results in significant prediction errors - reaching up to 147.85% in mean absolute percentage error (MAPE). To address this issue, we propose a precision-aware distributed training time predictor that achieves robust accuracy across diverse precision settings, including mixed precision, with 9.8% MAPE.
• Abstract（参考訳）: 分散ディープラーニングにおけるトレーニング時間の正確な予測は、リソース割り当て、コスト推定、ジョブスケジューリングに不可欠である。 我々は,浮動小数点精度設定がトレーニング時間の重要な決定要因であり,最小値から2.4倍程度のトレーニング時間変化をもたらすことを観察した。 しかし、既存の分散トレーニング時間予測の研究は、混合精度を含む精度の変動を捉えない静的モデル計算グラフに依存している。 実験によると、精度を考慮せずにトレーニング時間予測を行うと、大きな予測誤差が発生し、平均絶対パーセンテージ誤差(MAPE)が147.85%に達する。 この問題に対処するために,9.8%のMAPEを用いた混合精度を含む多種多様な精度設定において,堅牢な精度を実現する,高精度な分散トレーニング時間予測器を提案する。

関連論文リスト

• TSCoNet: A Two-Stage Copula CNN-LSTM for Uncertainty-Aware Spatio-Temporal Forecasting [7.191212864694664]
  TSCoNetは2段階の畳み込みリカレントモデルであり、空間と時間の複数の変数を共同で予測するガウスのコプラと結合している。 本研究では,2000～2020年の50都市を対象に,球面上の非定常空間場と月降水量と気温の実際のデータセットについて検討した。
  論文  参考訳（メタデータ） (2026-07-11T17:28:53Z)
• CATTO: Balancing Preferences and Confidence in Language Models [4.678970068275123]
  大規模言語モデル(LLM)は、しばしば正確な次のトークン予測を行うが、これらの予測に対する信頼度は不十分である。 本稿では,予測信頼度と経験的予測正しさを一致させる予測キャリブレーションを意識した目標を提案する。 出力トークンのベイズ最適選択に校正トークン確率を活用するテスト時間スケーリング機構であるConfidence@kを導入する。
  論文  参考訳（メタデータ） (2026-01-30T15:43:38Z)
• Beyond Accuracy: A Stability-Aware Metric for Multi-Horizon Forecasting [0.0]
  本稿では,確率的マルチホライゾン予測の質を評価するための予測精度とコヒーレンススコア(略してACスコア)を紹介する。 その結果,従来の最大推定値よりも大幅に改善した。
  論文  参考訳（メタデータ） (2026-01-15T21:26:57Z)
• Analyzing the effect of prediction accuracy on the distributionally-robust competitive ratio [3.616700653734583]
  我々は,Sunらが導入した分散ロバスト競争率(DRCR)に注目した(ICML 2024)。 既知の構造的特性は、任意の固定アルゴリズムに対して、予測精度が増加するにつれてDRCRは線形的に減少するということである。 我々は,オンライン最適化におけるベンチマーク問題であるスキーレンタル問題に適用し,最適DRCRに必要な予測精度の条件を特定する。
  論文  参考訳（メタデータ） (2026-01-11T08:51:40Z)
• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  キャリブレーション・リファインメント分解の新規な変分定式化について述べる。 我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• SMURF-THP: Score Matching-based UnceRtainty quantiFication for Transformer Hawkes Process [76.98721879039559]
  SMURF-THPは,変圧器ホークス過程を学習し,予測の不確かさを定量化するスコアベース手法である。 具体的には、SMURF-THPは、スコアマッチング目標に基づいて、イベントの到着時刻のスコア関数を学習する。 我々は,イベントタイプ予測と到着時刻の不確実性定量化の両方において,広範な実験を行う。
  論文  参考訳（メタデータ） (2023-10-25T03:33:45Z)
• Conformal Prediction with Partially Labeled Data [3.895044919159418]
  本稿では,定値トレーニングおよび校正データに適用可能な共形予測手法の一般化を提案する。 提案手法の有効性を実証し,本手法が自然ベースラインと好適に比較した実験的検討を行った。
  論文  参考訳（メタデータ） (2023-06-01T23:10:15Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。