論文の概要: Conditional PED-ANOVA: Hyperparameter Importance in Hierarchical & Dynamic Search Spaces
- arxiv url: http://arxiv.org/abs/2601.20800v1
- Date: Wed, 28 Jan 2026 17:44:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-29 15:46:07.083522
- Title: Conditional PED-ANOVA: Hyperparameter Importance in Hierarchical & Dynamic Search Spaces
- Title（参考訳）: 条件付きPED-ANOVA:階層型および動的検索空間におけるハイパーパラメータの重要性
- Authors: Kaito Baba, Yoshihiko Ozaki, Shuhei Watanabe,
- Abstract要約: CondPED-ANOVAは条件付き探索空間におけるハイパーパラメータ重要度(HPI)を推定するための原理的フレームワークである。
トップパフォーマンス領域に対する条件付きHPIを導入し、条件付きアクティベーションと領域変化を正確に反映するクローズドフォーム推定器を導出する。
- 参考スコア（独自算出の注目度）: 3.7621832642482134
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose conditional PED-ANOVA (condPED-ANOVA), a principled framework for estimating hyperparameter importance (HPI) in conditional search spaces, where the presence or domain of a hyperparameter can depend on other hyperparameters. Although the original PED-ANOVA provides a fast and efficient way to estimate HPI within the top-performing regions of the search space, it assumes a fixed, unconditional search space and therefore cannot properly handle conditional hyperparameters. To address this, we introduce a conditional HPI for top-performing regions and derive a closed-form estimator that accurately reflects conditional activation and domain changes. Experiments show that naive adaptations of existing HPI estimators yield misleading or uninterpretable importance estimates in conditional settings, whereas condPED-ANOVA consistently provides meaningful importances that reflect the underlying conditional structure.
- Abstract（参考訳）: 条件付き探索空間におけるハイパーパラメータ重要度(HPI)を推定するための原理的フレームワークである条件付きPED-ANOVA(condPED-ANOVA)を提案する。
元のPED-ANOVAは、探索空間の最高性能領域におけるHPIを高速かつ効率的に推定する方法を提供するが、固定された無条件探索空間を仮定するので、条件付きハイパーパラメータを適切に扱えない。
これを解決するために,トップパフォーマンス領域に対する条件付きHPIを導入し,条件付きアクティベーションと領域変化を正確に反映するクローズドフォーム推定器を導出する。
実験により、既存のHPI推定器の単純適応は、条件条件設定において誤解を招くか、解釈不能な重要度を推定する一方、condPED-ANOVAは、基礎となる条件構造を反映する有意義な重要性を一貫して提供することが示された。
関連論文リスト
- Improved High-probability Convergence Guarantees of Decentralized SGD [74.39742894097348]
平均二乗誤差(MSE)と同じ条件下で,$mathttDSGD$がHPに収束することを示す。
改良された分析によりユーザ数が線形アップし,$mathttDSGD$がHPの意味で性能を維持していることを示す。
論文 参考訳（メタデータ） (2025-10-07T17:15:08Z) - HyperSHAP: Shapley Values and Interactions for Explaining Hyperparameter Optimization [17.646452580419545]
ブラックボックスHPOメソッドは、ユーザの信頼を損なうとともに、採用を阻害する。
本稿では,シャプリー値と相互作用に基づくHPOのゲーム理論的説明可能性フレームワークを提案する。
様々なHPOベンチマークでHyperSHAPの能力を実証し、対応するHPO問題の相互作用構造を解析する。
論文 参考訳（メタデータ） (2025-02-03T11:47:52Z) - Modeling All Response Surfaces in One for Conditional Search Spaces [69.90317997694218]
本稿では,すべての部分空間の応答曲面をモデル化する新しい手法を提案する。
本稿では,様々な部分空間から異なる構造を持つ構成を統一された特徴空間に投影できる注目型深層特徴抽出器を提案する。
論文 参考訳（メタデータ） (2025-01-08T03:56:06Z) - Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。
本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
論文 参考訳（メタデータ） (2023-09-15T22:06:29Z) - PED-ANOVA: Efficiently Quantifying Hyperparameter Importance in
Arbitrary Subspaces [38.661353409709314]
本稿ではPearson divergence(PED)を用いてHPIのクローズドフォーム計算を実現するアルゴリズムを提案する。
PED-ANOVAと呼ばれるこの新しいアルゴリズムは、異なる部分空間において重要なHPを識別できることを示す。
論文 参考訳（メタデータ） (2023-04-20T12:24:49Z) - A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。
我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
論文 参考訳（メタデータ） (2022-12-08T18:56:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。