論文の概要: Provably Reduced Sample Cost in Prior-Guided Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2606.04866v1
• Date: Wed, 03 Jun 2026 13:32:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 07:07:40.504806
• Title: Provably Reduced Sample Cost in Prior-Guided Hyperparameter Optimization
• Title（参考訳）: 先導型ハイパーパラメータ最適化におけるサンプルコストの削減の可能性
• Authors: Leona Hennig, Jasmin Brandt, Lukas Fehring, Barbara Hammer, Marius Lindauer, Marcel Wever,
• Abstract要約: 本報告では, 先行する多要素HPOに対して, 分布依存型サンプル複雑性境界を初めて提供する。 提案手法では, 情報伝達先が, ほぼ最適腕の確率質量, 必要な評価回数の利得低下を集中するのに対して, ベースライン性能は非形式的, 誤解を招く前処理で回復することを示した。
• 参考スコア（独自算出の注目度）: 14.49729393385318
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large-scale hyperparameter optimization (HPO) in automated machine learning (AutoML) consumes substantial computational resources, raising growing concerns about scalability and energy efficiency. Existing methods use prior information heuristically to accelerate both black-box and multi-fidelity settings, but they lack a characterization of how prior informativeness quantitatively reduces sample complexity. In this work, we provide the first distribution-dependent sample complexity bounds for multi-fidelity HPO with priors through the formal lens of fixed-budget best-arm identification. By modeling priors directly over arm means as configuration performance, we derive explicit, distribution-dependent error bounds that quantify the relationship between priors and evaluation budget. Our analysis shows that informative priors, which concentrate probability mass on near-optimal arms, yield reductions in the number of required evaluations, whereas baseline performance is recovered with uninformative or misleading priors. We conduct proof-of-concept experiments on a synthetic benchmark and on LCBench, a common multi-fidelity HPO benchmark for deep learning, to confirm our theoretical results, achieving up to 90% budget reduction while retaining solution quality. Together, our results provide a principled foundation for prior-guided and compute-efficient green AutoML.
• Abstract（参考訳）: 自動機械学習(AutoML)における大規模ハイパーパラメータ最適化(HPO)は、相当量の計算リソースを消費し、スケーラビリティとエネルギー効率に関する懸念が高まっている。 既存の手法では、ブラックボックスとマルチフィデリティの両方を高速化するために事前情報をヒューリスティックに利用するが、事前の情報量によってサンプルの複雑さが定量的に減少する特徴は欠如している。 本研究は, 固定予算ベストアーム識別の正式なレンズを通して, 多要素HPOに先行した分布依存型サンプル複雑性境界を提供する。 プリエントをアーム上で直接モデル化することにより、プリエントと評価予算の関係を定量化する明示的で分布に依存したエラー境界を導出する。 分析の結果,ほぼ最適腕に確率質量を集中させる情報伝達前処理では,要求される評価回数が減少するのに対し,ベースライン性能は非形式的あるいは誤解を招く前処理で回復することがわかった。 我々は,総合ベンチマークと,ディープラーニングのための多要素HPOベンチマークであるLCBenchを用いて概念実証実験を行い,ソリューションの品質を維持しながら,最大90%の予算削減を実現した。 その結果, 先導型および計算効率のよいグリーンオートMLの原理的基盤が得られた。

関連論文リスト

• The Value of Mechanistic Priors in Sequential Decision Making [41.418304743101174]
  ハイブリッド・メカニスティック・モデル、学習された残差を持つ物理的先行性は、良い決定に必要なデータを減らすことを約束するが、これをテストするための計算可能な基準は存在しない。 両体制とも, 逐次意思決定におけるメカニスティックな先駆的価値を特徴づける。
  論文  参考訳（メタデータ） (2026-05-11T05:43:53Z)
• ADKO: Agentic Decentralized Knowledge Optimization [21.537388090124196]
  Agentic Decentralized Knowledge Optimization (ADKO)は、自律エージェント間の協調的なブラックボックス最適化のためのフレームワークである。 各エージェントは、ローカルデータに基づいて訓練されたプライベートガウスプロセス(GP)を保持し、知識トークンを通してのみ通信する。 トークン圧縮は相互情報に基づく忠実度によって定量化され、LM近似はバイアスとノイズに分解される。
  論文  参考訳（メタデータ） (2026-05-08T15:23:53Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• Calibrating Agent-Based Financial Markets Simulators with Pretrainable Automatic Posterior Transformation-Based Surrogates [5.002657036975061]
  エージェントベースモデル(ABM)は複雑な社会システムをシミュレーションするための重要な最適化問題である。 目的は、シミュレーションデータと実世界の観測との差を最小限に抑えて、与えられたABMの最適パラメータを特定することである。 既存の手法では,1) ABMの非線形だがマルチモーダルな性質のため,元の評価関数のサロゲートは困難であり,2) 一般的なサロゲートは複数のキャリブレーションタスク間で最適化経験を共有できない。 本研究は、負相関探索と適応信頼回帰を用いた自動後部変換を提案する。
  論文  参考訳（メタデータ） (2026-01-11T14:05:26Z)
• Repurposing Synthetic Data for Fine-grained Search Agent Supervision [81.95597592711688]
  LLMベースの検索エージェントは、エンティティ中心の合成データに基づいてますます訓練されている。 一般的なトレーニングメソッドは、このリッチなエンティティ情報を破棄し、代わりにスパースで結果に基づく報酬に依存します。 E-GRPO(Entity-Aware Group Relative Policy Optimization)は、高密度なエンティティ認識報酬関数を定式化する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-10-28T17:50:40Z)
• EconProver: Towards More Economical Test-Time Scaling for Automated Theorem Proving [64.15371139980802]
  大規模言語モデル(LLM)は、最近、自動定理証明(ATP)の分野を進歩させた。 ATPモデルに対する異なるテスト時間スケーリング戦略は、推論にかなりの計算オーバーヘッドをもたらすことを示す。 本稿では,統一EconRLパイプラインに統合可能な2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T03:00:13Z)
• Uncertainty-Aware Collaborative System of Large and Small Models for Multimodal Sentiment Analysis [17.98292973608615]
  マルチモーダル感情分析のための強力なMLLMと軽量なベースラインモデルを編成する新しい不確実性認識協調システム(U-ACS)を提案する。 提案手法は,スタンドアロンのMLLMに比べて計算資源のごく一部しか必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-08-27T16:01:58Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• "Over-optimizing" for Normality: Budget-constrained Uncertainty Quantification for Contextual Decision-making [1.2997358113120427]
  重み付きサンプル平均近似(wSAA)を用いた文脈最適化の不確実性定量化について検討する。 我々は、wSAAの中央極限定理を確立し、最適条件予測コストに対するアルゴリズム正規性に基づく信頼区間を構築する。 我々は、予算制約付き推定器の収束率をわずかに低下させ、過度に最適化する'(命名規則よりも多くのイテレーションを実行する)が、この過ちを軽減し、正規性を保っていることを示す。
  論文  参考訳（メタデータ） (2025-03-17T02:31:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。