論文の概要: Importance-Aware Scheduling for High-Dimensional Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2606.10068v1
• Date: Mon, 08 Jun 2026 18:42:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.136572
• Title: Importance-Aware Scheduling for High-Dimensional Hyperparameter Optimization
• Title（参考訳）: 高次元ハイパーパラメータ最適化における重要度を考慮したスケジューリング
• Authors: Ruinan Wang, Ian Nabney, Mohammad Golbabaee,
• Abstract要約: Greedy Importance First(GIF)は、重要度に基づくグループを形成し、トライアルを比例的に割り当て、フルスペースのフォールバックを保持する、重要度の高いスケジューリング戦略である。 高次元のベンチマークでは、GIF は TPE, BOHB, Random Search, Sequential Grouping よりも高速に収束する。 これらの結果から, GIFは高次元HPOにおいて, 試料効率を向上させるための簡易かつプラグ互換な方法である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.261707802034462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperparameter Optimization (HPO) is essential for building high-performing ML/DL models, yet conventional optimizers often struggle in high-dimensional spaces where evaluations are costly and progress is diluted across many low-impact variables. We propose Greedy Importance First (GIF), an importance-aware scheduling strategy that uses a small-sample warm start to estimate hyperparameter importance, forms importance-based groups, allocates trials proportionally, and retains a full-space fallback. We evaluate GIF under fixed evaluation budgets on five anisotropic analytic functions, Bayesmark, and NAS-Bench-301. On the higher-dimensional benchmarks, GIF reaches better incumbents with faster convergence than TPE, BOHB, Random Search, and Sequential Grouping. On Bayesmark, where the effective dimensionality is smaller, GIF remains competitive but the margins are smaller. Ablation studies show that importance estimation, proportional allocation, and the fallback step all contribute to the gains. We also verify that the HIA component recovers the intended anisotropy on the analytic benchmarks. These results suggest that GIF is a simple and plug-compatible way to improve sample efficiency in high-dimensional HPO.
• Abstract（参考訳）: ハイパパラメータ最適化(HPO)は高性能ML/DLモデルの構築に不可欠であるが,従来の最適化手法では高次元空間では評価にコストがかかり,多くの低インパクト変数で進行が希釈される場合が多い。 我々は,小さめのウォームスタートを用いてハイパーパラメータの重要度を推定し,重要度に基づくグループを形成し,トライアルを比例的に割り当て,フルスペースのフォールバックを保持する重要度を考慮したスケジューリング戦略であるGreedy Importance First(GIF)を提案する。 GIFは,5つの異方性解析機能,ベイズマーク,NAS-Bench-301に基づいて評価した。 高次元のベンチマークでは、GIFはTPE, BOHB, Random Search, Sequential Groupingよりも高速に収束する。 有効次元が小さいベイズマルクでは、GIFは競争力があるもののマージンは小さい。 アブレーション研究は、重要度推定、比例配分、フォールバックステップがすべて利得に寄与していることを示している。 また,HIA成分が解析ベンチマーク上で意図した異方性を取り戻すことも確認した。 これらの結果から, GIFは高次元HPOにおいて, 試料効率を向上させるための簡易かつプラグ互換な方法である可能性が示唆された。

関連論文リスト

• Provably Reduced Sample Cost in Prior-Guided Hyperparameter Optimization [14.49729393385318]
  本報告では, 先行する多要素HPOに対して, 分布依存型サンプル複雑性境界を初めて提供する。 提案手法では, 情報伝達先が, ほぼ最適腕の確率質量, 必要な評価回数の利得低下を集中するのに対して, ベースライン性能は非形式的, 誤解を招く前処理で回復することを示した。
  論文  参考訳（メタデータ） (2026-06-03T13:32:17Z)
• Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
  非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。 次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T12:57:37Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• Hierarchical Evaluation Function: A Multi-Metric Approach for Optimizing Demand Forecasting Models [0.479839492673697]
  ハイパーパラメータ最適化のためのマルチメトリックフレームワークとして階層評価関数(HEF)を提案する。 HEFは説明力(R2)、過度エラーに対する感度(RMSE)、平均精度(MAE)を統合している。 HEFの性能は予測領域で広く認識されている4つのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2025-08-18T16:25:49Z)
• Grouped Sequential Optimization Strategy -- the Application of Hyperparameter Importance Assessment in Deep Learning [1.7778609937758323]
  我々は「逐次グループ」と呼ばれる新しいHPO戦略を実装している 実験は,6つの画像分類データセットで検証され,ハイパーパラメータ重要度評価(HIA)を組み込むことで,モデル性能を損なうことなくHPOを大幅に加速することを示した。
  論文  参考訳（メタデータ） (2025-03-07T03:01:00Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Scalable and Effective Negative Sample Generation for Hyperedge Prediction [55.9298019975967]
  ハイパーエッジ予測は、Webベースのアプリケーションにおける複雑なマルチエンタリティ相互作用を理解するために不可欠である。 従来の手法では、正と負のインスタンスの不均衡により、高品質な負のサンプルを生成するのが困難であることが多い。 本稿では,これらの課題に対処するために拡散モデルを利用するハイパーエッジ予測(SEHP)フレームワークのスケーラブルで効果的な負のサンプル生成について述べる。
  論文  参考訳（メタデータ） (2024-11-19T09:16:25Z)
• Testing the Efficacy of Hyperparameter Optimization Algorithms in Short-Term Load Forecasting [0.0]
  我々は、Panaama Electricityデータセットを用いて、サロゲート予測アルゴリズムであるXGBoostのHPOアルゴリズムの性能を、精度(MAPE、$R2$)とランタイムで評価する。 その結果,Random SearchよりもHPOアルゴリズムが優れていることがわかった。
  論文  参考訳（メタデータ） (2024-10-19T09:08:52Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。