論文の概要: Successive Halving with Learning Curve Prediction via Latent Kronecker Gaussian Processes

• arxiv url: http://arxiv.org/abs/2508.14818v1
• Date: Wed, 20 Aug 2025 16:10:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.521146
• Title: Successive Halving with Learning Curve Prediction via Latent Kronecker Gaussian Processes
• Title（参考訳）: 潜在Kronecker Gaussianプロセスによる学習曲線予測による逐次Halving
• Authors: Jihao Andreas Lin, Nicolas Mayoraz, Steffen Rendle, Dima Kuzmin, Emil Praun, Berivan Isik,
• Abstract要約: 我々は,Kronecker Gaussian Processs に基づく学習曲線予測による逐次ハルヴィングの導出が限界を克服できるかどうかを考察する。 我々は、この予測アプローチを、現在のパフォーマンス値に基づく標準アプローチと比較する。 実験の結果, 予測手法は競争性能を達成できるが, 標準手法により多くの資源を投入するよりも最適ではないことがわかった。
• 参考スコア（独自算出の注目度）: 7.6801618830697285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Successive Halving is a popular algorithm for hyperparameter optimization which allocates exponentially more resources to promising candidates. However, the algorithm typically relies on intermediate performance values to make resource allocation decisions, which can cause it to prematurely prune slow starters that would eventually become the best candidate. We investigate whether guiding Successive Halving with learning curve predictions based on Latent Kronecker Gaussian Processes can overcome this limitation. In a large-scale empirical study involving different neural network architectures and a click prediction dataset, we compare this predictive approach to the standard approach based on current performance values. Our experiments show that, although the predictive approach achieves competitive performance, it is not Pareto optimal compared to investing more resources into the standard approach, because it requires fully observed learning curves as training data. However, this downside could be mitigated by leveraging existing learning curve data.
• Abstract（参考訳）: 逐次ハルヴィング(英: Successive Halving)は、有望な候補に指数関数的により多くのリソースを割り当てるハイパーパラメータ最適化の一般的なアルゴリズムである。 しかし、このアルゴリズムは通常、中間性能値に頼ってリソース割り当ての決定を行うため、最終的に最高の候補となる遅いスターターを早急に引き起こす可能性がある。 我々は,Kronecker Gaussian Processs に基づく学習曲線予測による逐次ハルヴィングの導出が,この限界を克服できるかどうかを考察する。 異なるニューラルネットワークアーキテクチャとクリック予測データセットを含む大規模な実証研究において、この予測アプローチを、現在のパフォーマンス値に基づく標準アプローチと比較する。 実験の結果、予測手法は競争性能を達成できるが、学習曲線を学習データとして完全に観察する必要があるため、標準手法により多くのリソースを投資するよりもパレートが最適ではないことがわかった。 しかし、この欠点は既存の学習曲線データを活用することで軽減できる。

関連論文リスト

• DRoP: Distributionally Robust Data Pruning [11.930434318557156]
  我々は、訓練されたモデルの分類バイアスにデータプルーニングが与える影響について、最初の系統的研究を行う。 そこで我々はDRoPを提案する。DRoPは,標準的なコンピュータビジョンベンチマークにおいて,その性能を実証的に実証し,分散的に頑健な手法である。
  論文  参考訳（メタデータ） (2024-04-08T14:55:35Z)
• Informed Spectral Normalized Gaussian Processes for Trajectory Prediction [0.0]
  本稿では,SNGPの正規化に基づく連続学習手法を提案する。 提案手法は確立された手法に基づいており,リハーサルメモリやパラメータ拡張を必要としない。 本研究では, 自律運転における軌道予測問題に対する情報SNGPモデルの適用について検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:05:24Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
  我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。 我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
  論文  参考訳（メタデータ） (2021-06-14T15:40:51Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• First-order Optimization for Superquantile-based Supervised Learning [0.0]
  本稿では,超量子的学習目標を最小化する一階最適化アルゴリズムを提案する。 提案アルゴリズムは,不完全な畳み込みによる超量子関数の平滑化に基づく。
  論文  参考訳（メタデータ） (2020-09-30T11:43:45Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。