論文の概要: Nowcasting Future Performance for Population Pruning in Survival-of-the-Fittest Training

• arxiv url: http://arxiv.org/abs/2611.06512v1
• Date: Wed, 04 Nov 2026 13:40:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.123596
• Title: Nowcasting Future Performance for Population Pruning in Survival-of-the-Fittest Training
• Title（参考訳）: サバイバル・オブ・ザ・ファイト・トレーニングにおける人口減少の現況
• Abstract要約: 中間訓練チェックポイントが将来のモデルの精度を予測し、より情報的なプルーニング決定を可能にするかどうかを検討する。 現時点のキャスターは、トレーニングの終了前後の5つのエポックをテスト精度で予測しています。 それらは精度と損失履歴、重量統計、SANE表現を入力として訓練されている。 以上の結果から,重み統計は5つの時代予測に最適であり,SANE表現は最終精度予測に最適であることがわかった。
• 参考スコア（独自算出の注目度）: 10.605857245845044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training high-performing neural networks often involves evaluating populations of candidate models with varying hyperparameters, architectures, or random seeds. Training every candidate to completion is computationally expensive, yet stopping seemingly weaker runs early risks discarding models that would ultimately perform better, as learning curves can cross. To address this challenge, we investigate whether intermediate training checkpoints can predict future model accuracy and enable more informed pruning decisions. Our nowcasters predict test accuracy five epochs ahead or at the end of training. They are trained with accuracy and loss histories, weight statistics, and SANE representations as inputs. SANE is a transformer autoencoder that encodes a checkpoint as a sequence of latent tokens. We then use the nowcasters in Survival-of-the-Fittest (SOTF) training. SOTF repeatedly ranks runs during training by predicted accuracy and stops the lowest-ranked ones. Our results show that weight statistics work best for five-epoch forecasts, and SANE representations work best for final accuracy prediction. For evaluation, we compare SOTF with pruning the population by current accuracy. In homogeneous model zoos such as the CNN zoos, pruning by current accuracy already retains a final model only slightly worse than the best. Model zoos with a larger spread in performance, such as the ResNet-18 and ViT zoos, are more difficult to prune by current accuracy alone. In these zoos, SOTF with nowcasted final accuracy almost closes the gap to the best model.
• Abstract（参考訳）: ハイパフォーマンスニューラルネットワークのトレーニングは、しばしば、様々なハイパーパラメータ、アーキテクチャ、ランダムシードを持つ候補モデルの集団を評価することを伴う。 完了候補のトレーニングは計算に費用がかかるが、学習曲線が交差するので、最終的なパフォーマンスが向上するであろうモデルを捨てる早期のリスクは、より弱いように見える。 この課題に対処するために、中間トレーニングチェックポイントが将来のモデルの精度を予測し、より情報的なプルーニング決定を可能にするかどうかを検討する。 現時点のキャスターは、トレーニングの終了前後の5つのエポックをテスト精度で予測しています。 それらは精度と損失履歴、重量統計、SANE表現を入力として訓練されている。 SANEは、チェックポイントを潜在トークンのシーケンスとしてエンコードするトランスフォーマーオートエンコーダである。 次に、Survival-of-the-Fittest(SOTF)トレーニングで nowcaster を使用します。 SOTFは、予測精度でトレーニング中に繰り返しランク付けし、最低ランクのものを停止する。 以上の結果から,重み統計は5つの時代予測に最適であり,SANE表現は最終精度予測に最適であることがわかった。 評価のために,SOTFと個体群を現時点の精度で刈り取る方法を比較した。 CNN動物園のような同質のモデル動物園では、現在の精度で刈り取ると、最終モデルは最高よりもわずかに劣っている。 ResNet-18(英語版)やViT(英語版)動物園(英語版)のような、より広範な性能を持つモデル動物園は、現在の精度だけで熟成することがより困難である。 これらの動物園では、現在放送されている最終精度のSOTFが最良のモデルとのギャップをほぼ埋める。

関連論文リスト

• Where, When, and How Many Bits? Scaling Laws for SGD with Stochastic Rounding [50.73855299805472]
  低精度トレーニングは計算を減少させるが、追加の丸め誤差を導入する。 本稿では,計算のラウンドリングがモデルサイズ,トレーニング時間,精度変化などの予測リスクに与える影響を理論的に検討する。
  論文  参考訳（メタデータ） (2026-10-29T23:42:46Z)
• Meta Models: Models that Model Learning [21.49349810955267]
  他モデルの学習行動を予測するメタモデルについて検討する。 実言語モデルトレーニングレコードをネイティブ数値データとして扱う。 既製のインコンテキスト学習者であるTabPFNは、微調整されたLLMメタモデルにマッチまたは性能を向上することができる。
  論文  参考訳（メタデータ） (2026-10-27T10:47:17Z)
• Enhancing Edge Detection by Texture Handling Architecture and Noiseless Training Data [0.0]
  画像エッジ検出(ED)はコンピュータビジョンの基本課題である。 本稿では,CSDB(Cascaded Skipping Density Blocks)を取り入れた新しいEDモデルを提案する。 第2に、トレーニング中のノイズレスアノテーションの統合を可能にする新しいデータ拡張戦略を導入する。
  論文  参考訳（メタデータ） (2024-07-29T13:24:55Z)
• Continual Pre-Training of Large Language Models: How to (re)warm your model? [21.8468835868142]
  大規模言語モデル(LLM)はトークン上で定期的に事前訓練されるが、新しいデータが利用可能になると再起動する。 我々は,SlimPajama(下流データ,297Bトークン)の事前トレーニングを続けながら,パイル(上流データ,300Bトークン)で事前訓練されたモデルのウォームアップフェーズについて検討した。 以上の結果から,上流データと下流データの損失は再温暖化によって増大するが,より長い実行でダウンストリームのパフォーマンスが向上し,大規模なダウンストリームデータセットに対して10億ドルからトレーニングしたモデルよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-08-08T03:18:18Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
  大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。 本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2022-11-21T21:58:30Z)
• Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
  本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。 我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。 そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:19:09Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。