論文の概要: Training Time Prediction for Mixed Precision-based Distributed Training
- arxiv url: http://arxiv.org/abs/2604.16145v1
- Date: Fri, 17 Apr 2026 15:18:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-20 22:00:19.976773
- Title: Training Time Prediction for Mixed Precision-based Distributed Training
- Title（参考訳）: 混合精度に基づく分散学習のための学習時間予測
- Authors: Minchul Kang, Changyong Shin, Jinwoo Jeong, Hyunho Lee, Younghun Go, Gyeongmin Kim, Gyeongsik Yang, Chuck Yoo,
- Abstract要約: 本稿では,様々な精度設定において頑健な精度を実現するための,高精度な分散トレーニング時間予測器を提案する。
精度を考慮せずにトレーニング時間予測が有意な予測誤差をもたらすことを示し、平均絶対パーセンテージ誤差(MAPE)が147.85%に達する。
- 参考スコア（独自算出の注目度）: 12.081247902923574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate prediction of training time in distributed deep learning is crucial for resource allocation, cost estimation, and job scheduling. We observe that the floating-point precision setting is a key determinant of training time, leading to training time variations of ~2.4x over its minimum. However, existing studies on distributed training time prediction rely on static model computation graphs that do not capture precision variations, including mixed precision. According to our experiments, training time prediction without considering precision results in significant prediction errors - reaching up to 147.85% in mean absolute percentage error (MAPE). To address this issue, we propose a precision-aware distributed training time predictor that achieves robust accuracy across diverse precision settings, including mixed precision, with 9.8% MAPE.
- Abstract（参考訳）: 分散ディープラーニングにおけるトレーニング時間の正確な予測は、リソース割り当て、コスト推定、ジョブスケジューリングに不可欠である。
我々は,浮動小数点精度設定がトレーニング時間の重要な決定要因であり,最小値から2.4倍程度のトレーニング時間変化をもたらすことを観察した。
しかし、既存の分散トレーニング時間予測の研究は、混合精度を含む精度の変動を捉えない静的モデル計算グラフに依存している。
実験によると、精度を考慮せずにトレーニング時間予測を行うと、大きな予測誤差が発生し、平均絶対パーセンテージ誤差(MAPE)が147.85%に達する。
この問題に対処するために,9.8%のMAPEを用いた混合精度を含む多種多様な精度設定において,堅牢な精度を実現する,高精度な分散トレーニング時間予測器を提案する。
関連論文リスト
- CATTO: Balancing Preferences and Confidence in Language Models [4.678970068275123]
大規模言語モデル(LLM)は、しばしば正確な次のトークン予測を行うが、これらの予測に対する信頼度は不十分である。
本稿では,予測信頼度と経験的予測正しさを一致させる予測キャリブレーションを意識した目標を提案する。
出力トークンのベイズ最適選択に校正トークン確率を活用するテスト時間スケーリング機構であるConfidence@kを導入する。
論文 参考訳（メタデータ） (2026-01-30T15:43:38Z) - Beyond Accuracy: A Stability-Aware Metric for Multi-Horizon Forecasting [0.0]
本稿では,確率的マルチホライゾン予測の質を評価するための予測精度とコヒーレンススコア(略してACスコア)を紹介する。
その結果,従来の最大推定値よりも大幅に改善した。
論文 参考訳（メタデータ） (2026-01-15T21:26:57Z) - Analyzing the effect of prediction accuracy on the distributionally-robust competitive ratio [3.616700653734583]
我々は,Sunらが導入した分散ロバスト競争率(DRCR)に注目した(ICML 2024)。
既知の構造的特性は、任意の固定アルゴリズムに対して、予測精度が増加するにつれてDRCRは線形的に減少するということである。
我々は,オンライン最適化におけるベンチマーク問題であるスキーレンタル問題に適用し,最適DRCRに必要な予測精度の条件を特定する。
論文 参考訳（メタデータ） (2026-01-11T08:51:40Z) - Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
キャリブレーション・リファインメント分解の新規な変分定式化について述べる。
我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
論文 参考訳（メタデータ） (2025-01-31T15:03:54Z) - Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - Conformal Prediction with Partially Labeled Data [3.895044919159418]
本稿では,定値トレーニングおよび校正データに適用可能な共形予測手法の一般化を提案する。
提案手法の有効性を実証し,本手法が自然ベースラインと好適に比較した実験的検討を行った。
論文 参考訳（メタデータ） (2023-06-01T23:10:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。