論文の概要: Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution

• arxiv url: http://arxiv.org/abs/2206.05447v1
• Date: Sat, 11 Jun 2022 07:12:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-19 12:08:54.922283
• Title: Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution
• Title（参考訳）: ベイジアンアルゴリズムによるハイパーパラメータ最適化の説明可能性向上
• Authors: Julia Moosbauer, Giuseppe Casalicchio, Marius Lindauer, Bernd Bischl
• Abstract要約: 部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
• 参考スコア（独自算出の注目度）: 13.037647287689438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite all the benefits of automated hyperparameter optimization (HPO), most modern HPO algorithms are black-boxes themselves. This makes it difficult to understand the decision process which lead to the selected configuration, reduces trust in HPO, and thus hinders its broad adoption. Here, we study the combination of HPO with interpretable machine learning (IML) methods such as partial dependence plots. However, if such methods are naively applied to the experimental data of the HPO process in a post-hoc manner, the underlying sampling bias of the optimizer can distort interpretations. We propose a modified HPO method which efficiently balances the search for the global optimum w.r.t. predictive performance and the reliable estimation of IML explanations of an underlying black-box function by coupling Bayesian optimization and Bayesian Algorithm Execution. On benchmark cases of both synthetic objectives and HPO of a neural network, we demonstrate that our method returns more reliable explanations of the underlying black-box without a loss of optimization performance.
• Abstract（参考訳）: HPO(Automatic Hyperparameter Optimization)の利点にもかかわらず、現代のHPOアルゴリズムのほとんどはブラックボックス自身である。 これにより、選択された構成につながる決定プロセスの理解が困難になり、HPOへの信頼が低下し、広く採用されなくなる。 本稿では,部分依存プロットなどの解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 しかし、そのような手法がhpoプロセスの実験データにポストホックな方法でネイティブに適用される場合、オプティマイザの基盤となるサンプリングバイアスは解釈を歪めることができる。 ベイジアン最適化とベイジアンアルゴリズムの実行を結合させることにより,グローバルな予測性能の最適化と,基礎となるブラックボックス関数のIML説明の信頼性評価を効率的に行うHPO法を提案する。 ニューラルネットワークの合成目的とHPOのベンチマークケースにおいて、最適化性能を損なうことなく、基礎となるブラックボックスについてより信頼性の高い説明を返すことを示す。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges [5.139260825952818]
  本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。 HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2021-07-13T04:55:47Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。