論文の概要: Hyperparameter Optimization via Interacting with Probabilistic Circuits

• arxiv url: http://arxiv.org/abs/2505.17804v1
• Date: Fri, 23 May 2025 12:21:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.057783
• Title: Hyperparameter Optimization via Interacting with Probabilistic Circuits
• Title（参考訳）: 確率回路との相互作用によるハイパーパラメータ最適化
• Authors: Jonas Seng, Fabrizio Ventola, Zhongjie Yu, Kristian Kersting,
• Abstract要約: 候補点の獲得機能のない生成を可能にする新しい選択ポリシーを開発する。 本手法は,標準HPOにおける最先端性能を実現し,対話型HPOにおける対話型BOベースラインよりも優れることを示す。
• 参考スコア（独自算出の注目度）: 20.128718882698593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the growing interest in designing truly interactive hyperparameter optimization (HPO) methods, to date, only a few allow to include human feedback. Existing interactive Bayesian optimization (BO) methods incorporate human beliefs by weighting the acquisition function with a user-defined prior distribution. However, in light of the non-trivial inner optimization of the acquisition function prevalent in BO, such weighting schemes do not always accurately reflect given user beliefs. We introduce a novel BO approach leveraging tractable probabilistic models named probabilistic circuits (PCs) as a surrogate model. PCs encode a tractable joint distribution over the hybrid hyperparameter space and evaluation scores. They enable exact conditional inference and sampling. Based on conditional sampling, we construct a novel selection policy that enables an acquisition function-free generation of candidate points (thereby eliminating the need for an additional inner-loop optimization) and ensures that user beliefs are reflected accurately in the selection policy. We provide a theoretical analysis and an extensive empirical evaluation, demonstrating that our method achieves state-of-the-art performance in standard HPO and outperforms interactive BO baselines in interactive HPO.
• Abstract（参考訳）: 真のインタラクティブなハイパーパラメータ最適化(HPO)を設計することへの関心が高まっているが、これまでは、人間のフィードバックを含めることのできるものはほとんどなかった。 既存の対話型ベイズ最適化(BO)手法は、ユーザ定義の事前分布と取得関数を重み付けすることで、人間の信念を取り入れている。 しかし、BOで広く使われている取得関数の非自明な内部最適化を考えると、そのような重み付けスキームは必ずしも与えられたユーザの信念を正確に反映するとは限らない。 本稿では,確率回路 (PC) をサロゲートモデルとして利用した新しいBO手法を提案する。 PCは、ハイブリッドハイパーパラメータ空間上のトラクタブルジョイント分布と評価スコアを符号化する。 正確な条件推論とサンプリングを可能にする。 条件付きサンプリングに基づいて、候補点の獲得機能のない生成を可能にする新しい選択ポリシーを構築し(追加のインナーループ最適化を不要にすることで)、選択ポリシーにおいてユーザの信念が正確に反映されることを保証する。 提案手法は,標準的なHPOにおける最先端性能を実現し,対話型HPOにおける対話型BOベースラインよりも優れることを示す。

関連論文リスト

• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Simulation Based Bayesian Optimization [0.5524804393257919]
  本稿では,獲得関数を最適化するための新しいアプローチとして,シミュレーションベースベイズ最適化(SBBO)を提案する。 GPは後続予測分布への解析的アクセスを提供するため、サロゲートモデルとして一般的に使用される。 本研究では,SBBOの有効性を種々の代理モデルを用いて実証的に実証する。
  論文  参考訳（メタデータ） (2024-01-19T16:56:11Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Improving Hyperparameter Optimization by Planning Ahead [3.8673630752805432]
  本稿では,モデルに基づく強化学習の文脈内で定義された新しい伝達学習手法を提案する。 本稿では,シンプルなルックアヘッド戦略をポリシーとして用いたモデル予測制御法を提案する。 最新のHPOアルゴリズムと比較した3つのメタデータセット実験により,提案手法が全ベースラインを上回り得ることを示す。
  論文  参考訳（メタデータ） (2021-10-15T11:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。