論文の概要: Explaining Hyperparameter Optimization via Partial Dependence Plots

• arxiv url: http://arxiv.org/abs/2111.04820v1
• Date: Mon, 8 Nov 2021 20:51:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-11 01:09:38.294971
• Title: Explaining Hyperparameter Optimization via Partial Dependence Plots
• Title（参考訳）: 部分依存プロットによるハイパーパラメータ最適化の解説
• Authors: Julia Moosbauer, Julia Herbinger, Giuseppe Casalicchio, Marius Lindauer, Bernd Bischl
• Abstract要約: 我々は、解釈型機械学習(IML)を用いて、ベイズ最適化(BO)を用いたHPOで得られた実験データから洞察を得ることを提案する。 BOサロゲートモデルの後方不確実性を利用して、推定信頼帯域を持つ部分依存プロット(PDP)の変種を導入する。 本研究では,サブリージョンにおけるPDPの質向上に関する定量的証拠を実験的に提示する。
• 参考スコア（独自算出の注目度）: 5.25855526614851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated hyperparameter optimization (HPO) can support practitioners to obtain peak performance in machine learning models. However, there is often a lack of valuable insights into the effects of different hyperparameters on the final model performance. This lack of explainability makes it difficult to trust and understand the automated HPO process and its results. We suggest using interpretable machine learning (IML) to gain insights from the experimental data obtained during HPO with Bayesian optimization (BO). BO tends to focus on promising regions with potential high-performance configurations and thus induces a sampling bias. Hence, many IML techniques, such as the partial dependence plot (PDP), carry the risk of generating biased interpretations. By leveraging the posterior uncertainty of the BO surrogate model, we introduce a variant of the PDP with estimated confidence bands. We propose to partition the hyperparameter space to obtain more confident and reliable PDPs in relevant sub-regions. In an experimental study, we provide quantitative evidence for the increased quality of the PDPs within sub-regions.
• Abstract（参考訳）: 自動ハイパーパラメータ最適化(HPO)は、機械学習モデルにおけるピークパフォーマンスを得るために実践者を支援する。 しかしながら、最終的なモデルパフォーマンスに対する異なるハイパーパラメータの影響に関する貴重な洞察がしばしば欠如している。 この説明責任の欠如は、自動化HPOプロセスとその結果の信頼性と理解を困難にしている。 我々は,解釈可能な機械学習(IML)を用いて,ベイズ最適化(BO)を用いたHPOで得られた実験データから洞察を得ることを提案する。 BOは、潜在的に高性能な構成を持つ有望な領域に焦点を当て、サンプリングバイアスを引き起こす傾向にある。 したがって、部分依存プロット(PDP)のような多くのIML技術は、偏りのある解釈を生成するリスクを負う。 BOサロゲートモデルの後方不確実性を利用して、推定信頼帯域を持つPDPの変種を導入する。 我々は,高パラメータ空間を分割し,より信頼性が高く信頼性の高いPDPを関連するサブリージョンで得ることを提案する。 本研究では,サブリージョンにおけるPDPの品質向上に関する定量的証拠を提供する。

関連論文リスト

• Scalable and Effective Negative Sample Generation for Hyperedge Prediction [55.9298019975967]
  ハイパーエッジ予測は、Webベースのアプリケーションにおける複雑なマルチエンタリティ相互作用を理解するために不可欠である。 従来の手法では、正と負のインスタンスの不均衡により、高品質な負のサンプルを生成するのが困難であることが多い。 本稿では,これらの課題に対処するために拡散モデルを利用するハイパーエッジ予測(SEHP)フレームワークのスケーラブルで効果的な負のサンプル生成について述べる。
  論文  参考訳（メタデータ） (2024-11-19T09:16:25Z)
• R+R:Understanding Hyperparameter Effects in DP-SGD [3.0668784884950235]
  DP-SGDはプライバシー保護機械学習の標準的な最適化アルゴリズムである。 プライベートでない学習アプローチに比べて、パフォーマンスの低いアプローチでは、依然として一般的な課題である。
  論文  参考訳（メタデータ） (2024-11-04T12:56:35Z)
• PriorBand: Practical Hyperparameter Optimization in the Age of Deep Learning [49.92394599459274]
  我々は,Deep Learning(DL)パイプラインに適したHPOアルゴリズムであるPresideBandを提案する。 各種のDLベンチマークでその堅牢性を示し、情報的専門家のインプットと、専門家の信条の低さに対してその利得を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:26:14Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• On the influence of over-parameterization in manifold based surrogates and deep neural operators [0.0]
  本稿では, 複雑な物理化学的プロセスのための高精度で一般化可能な近似器を構築するための2つの方法を示す。 まずm-PCEの拡張を提案し、入力関数と出力QoIの2つの別々の埋め込みによって形成された潜在空間間のマッピングを構築する。 我々は,m-PCEとDeepONetが相対出力マッピングの場合に比較できることを示す。 高度に非滑らかなダイナミクスを考慮すると、DeepONetは高い精度を示す。
  論文  参考訳（メタデータ） (2022-03-09T22:27:46Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。