論文の概要: Conditional PED-ANOVA: Hyperparameter Importance in Hierarchical & Dynamic Search Spaces
- arxiv url: http://arxiv.org/abs/2601.20800v1
- Date: Wed, 28 Jan 2026 17:44:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-29 15:46:07.083522
- Title: Conditional PED-ANOVA: Hyperparameter Importance in Hierarchical & Dynamic Search Spaces
- Title（参考訳）: 条件付きPED-ANOVA:階層型および動的検索空間におけるハイパーパラメータの重要性
- Authors: Kaito Baba, Yoshihiko Ozaki, Shuhei Watanabe,
- Abstract要約: CondPED-ANOVAは条件付き探索空間におけるハイパーパラメータ重要度(HPI)を推定するための原理的フレームワークである。
トップパフォーマンス領域に対する条件付きHPIを導入し、条件付きアクティベーションと領域変化を正確に反映するクローズドフォーム推定器を導出する。
- 参考スコア（独自算出の注目度）: 3.7621832642482134
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose conditional PED-ANOVA (condPED-ANOVA), a principled framework for estimating hyperparameter importance (HPI) in conditional search spaces, where the presence or domain of a hyperparameter can depend on other hyperparameters. Although the original PED-ANOVA provides a fast and efficient way to estimate HPI within the top-performing regions of the search space, it assumes a fixed, unconditional search space and therefore cannot properly handle conditional hyperparameters. To address this, we introduce a conditional HPI for top-performing regions and derive a closed-form estimator that accurately reflects conditional activation and domain changes. Experiments show that naive adaptations of existing HPI estimators yield misleading or uninterpretable importance estimates in conditional settings, whereas condPED-ANOVA consistently provides meaningful importances that reflect the underlying conditional structure.
- Abstract（参考訳）: 条件付き探索空間におけるハイパーパラメータ重要度(HPI)を推定するための原理的フレームワークである条件付きPED-ANOVA(condPED-ANOVA)を提案する。
元のPED-ANOVAは、探索空間の最高性能領域におけるHPIを高速かつ効率的に推定する方法を提供するが、固定された無条件探索空間を仮定するので、条件付きハイパーパラメータを適切に扱えない。
これを解決するために,トップパフォーマンス領域に対する条件付きHPIを導入し,条件付きアクティベーションと領域変化を正確に反映するクローズドフォーム推定器を導出する。
実験により、既存のHPI推定器の単純適応は、条件条件設定において誤解を招くか、解釈不能な重要度を推定する一方、condPED-ANOVAは、基礎となる条件構造を反映する有意義な重要性を一貫して提供することが示された。
関連論文リスト
- Hyperparameter Trajectory Inference with Conditional Lagrangian Optimal Transport [51.56484100374058]
デプロイ後、ユーザの好みが進化し、初期設定が望ましくないようになる。
我々は、観測データから、NNの条件付き出力分布がハイパーパラメータでどのように変化するかを学ぶ。
我々は、NNを観測されていないハイパーパラメータで近似する代理モデルを構築した。
論文 参考訳（メタデータ） (2026-03-02T11:55:02Z) - Adaptive Estimation and Inference in Conditional Moment Models via the Discrepancy Principle [17.447741518678374]
条件付きモーメント制約によって定義される線形逆問題における適応的推定と推論について検討する。
正規化DeepIV (RDIV) のような既存の正規化推定器は、ニュアンス関数の滑らかさに関する事前知識を必要とする。
論文 参考訳（メタデータ） (2026-03-02T00:23:20Z) - Understanding the Generalization of Bilevel Programming in Hyperparameter Optimization: A Tale of Bias-Variance Decomposition [53.68517860700599]
我々は,HPOアルゴリズムの分散を効果的に低減するためのアンサンブル過次戦略を提案する。
過度な誤差と過度な推定の関連を確立し、経験的観察のある程度の理解を提供する。
論文 参考訳（メタデータ） (2026-02-20T02:52:13Z) - Improved High-probability Convergence Guarantees of Decentralized SGD [74.39742894097348]
平均二乗誤差(MSE)と同じ条件下で,$mathttDSGD$がHPに収束することを示す。
改良された分析によりユーザ数が線形アップし,$mathttDSGD$がHPの意味で性能を維持していることを示す。
論文 参考訳（メタデータ） (2025-10-07T17:15:08Z) - POCAII: Parameter Optimization with Conscious Allocation using Iterative Intelligence [4.478575931884855]
POCAIIはハイパーパラメータ最適化予算を管理するフレキシブルなスキームである。
低予算なハイパーパラメータ最適化方式では優れた性能を示す。
現実世界の問題への幅広い応用がある。
論文 参考訳（メタデータ） (2025-05-16T23:05:07Z) - HyperSHAP: Shapley Values and Interactions for Explaining Hyperparameter Optimization [17.646452580419545]
ブラックボックスHPOメソッドは、ユーザの信頼を損なうとともに、採用を阻害する。
本稿では,シャプリー値と相互作用に基づくHPOのゲーム理論的説明可能性フレームワークを提案する。
様々なHPOベンチマークでHyperSHAPの能力を実証し、対応するHPO問題の相互作用構造を解析する。
論文 参考訳（メタデータ） (2025-02-03T11:47:52Z) - Modeling All Response Surfaces in One for Conditional Search Spaces [69.90317997694218]
本稿では,すべての部分空間の応答曲面をモデル化する新しい手法を提案する。
本稿では,様々な部分空間から異なる構造を持つ構成を統一された特徴空間に投影できる注目型深層特徴抽出器を提案する。
論文 参考訳（メタデータ） (2025-01-08T03:56:06Z) - Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。
本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
論文 参考訳（メタデータ） (2023-09-15T22:06:29Z) - Local Energy Distribution Based Hyperparameter Determination for
Stochastic Simulated Annealing [0.0]
シミュレーションアニーリング(SSA)のための局所エネルギー分布に基づくハイパーパラメータ決定法を提案する。
スピンの局所エネルギー分布(確率ビット)に基づいて超パラメータを決定する手法を提案する。
最大カット問題に対するGsetおよびK2000ベンチマークにおいて、決定されたハイパーパラメータを用いたSSAの性能を評価する。
論文 参考訳（メタデータ） (2023-04-24T06:16:09Z) - PED-ANOVA: Efficiently Quantifying Hyperparameter Importance in
Arbitrary Subspaces [38.661353409709314]
本稿ではPearson divergence(PED)を用いてHPIのクローズドフォーム計算を実現するアルゴリズムを提案する。
PED-ANOVAと呼ばれるこの新しいアルゴリズムは、異なる部分空間において重要なHPを識別できることを示す。
論文 参考訳（メタデータ） (2023-04-20T12:24:49Z) - A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。
我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
論文 参考訳（メタデータ） (2022-12-08T18:56:37Z) - Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for
Safety-Critical Applications [71.23286211775084]
未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。
提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。
実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
論文 参考訳（メタデータ） (2021-09-06T17:10:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。