論文の概要: Tree-Structured Parzen Estimator Can Solve Black-Box Combinatorial Optimization More Efficiently

• arxiv url: http://arxiv.org/abs/2507.08053v2
• Date: Tue, 15 Jul 2025 08:40:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 15:29:04.882895
• Title: Tree-Structured Parzen Estimator Can Solve Black-Box Combinatorial Optimization More Efficiently
• Title（参考訳）: 木構造パルゼン推定器はブラックボックス組合せ最適化をより効率的に解くことができる
• Authors: Kenshin Abe, Yunzhuo Wang, Shuhei Watanabe,
• Abstract要約: 木構造パーゼン推定器(TPE)の効率的な最適化アルゴリズムを提案する。 提案手法は,従来のTPEよりも少ない評価で優れた解を同定する。 当社のアルゴリズムはHPOのオープンソースフレームワークであるOptunaで利用可能です。
• 参考スコア（独自算出の注目度）: 2.0236482279383905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree-structured Parzen estimator (TPE) is a versatile hyperparameter optimization (HPO) method supported by popular HPO tools. Since these HPO tools have been developed in line with the trend of deep learning (DL), the problem setups often used in the DL domain have been discussed for TPE such as multi-objective optimization and multi-fidelity optimization. However, the practical applications of HPO are not limited to DL, and black-box combinatorial optimization is actively utilized in some domains, e.g., chemistry and biology. As combinatorial optimization has been an untouched, yet very important, topic in TPE, we propose an efficient combinatorial optimization algorithm for TPE. In this paper, we first generalize the categorical kernel with the numerical kernel in TPE, enabling us to introduce a distance structure to the categorical kernel. Then we discuss modifications for the newly developed kernel to handle a large combinatorial search space. These modifications reduce the time complexity of the kernel calculation with respect to the size of a combinatorial search space. In the experiments using synthetic problems, we verified that our proposed method identifies better solutions with fewer evaluations than the original TPE. Our algorithm is available in Optuna, an open-source framework for HPO.
• Abstract（参考訳）: Tree-structured Parzen estimator (TPE) は一般的なHPOツールでサポートされている多目的ハイパーパラメータ最適化(HPO)手法である。 これらのHPOツールは、ディープラーニング(DL)の傾向に合わせて開発されたため、多目的最適化や多要素最適化といったTPEにおいて、DLドメインでよく使用される問題設定が議論されている。 しかし、HPOの実用化はDLに限らず、ブラックボックス組合せ最適化は化学や生物学などのいくつかの領域で積極的に活用されている。 組合せ最適化は、TPEにおける非タッチでありながら非常に重要なトピックであるため、TPEの効率的な組合せ最適化アルゴリズムを提案する。 本稿では,まず,分類カーネルをTPEの数値カーネルで一般化し,分類カーネルに距離構造を導入する。 次に,新たに開発されたカーネルに対して,大規模な組合せ探索空間を扱うための修正について検討する。 これらの修正により、組合せ探索空間のサイズに関してカーネル計算の時間的複雑さが減少する。 合成問題を用いた実験では,提案手法が元のTPEよりも少ない精度で優れた解を同定することを確認した。 当社のアルゴリズムはHPOのオープンソースフレームワークであるOptunaで利用可能です。

関連論文リスト

• Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? [42.362388367152256]
  大規模言語モデル(LLM)は、LoRAを使用してパラメータ効率の良いCode Llamaを微調整するために使用される。 提案手法は,演算オーバーヘッドを著しく低減しつつ,ルート平均角誤差(RMSE)の点で競争力や優位性を実現する。
  論文  参考訳（メタデータ） (2025-04-08T13:15:47Z)
• ULTHO: Ultra-Lightweight yet Efficient Hyperparameter Optimization in Deep Reinforcement Learning [50.53705050673944]
  ULTHOは,1回の走行で深部RLで高速HPOを実現するための,超軽量で強力なフレームワークである。 具体的には、HPOプロセスは、クラスタ化されたアーム(MABC)を備えたマルチアームバンディットとして定式化し、それを長期の戻り値の最適化に直接リンクする。 ALE、Procgen、MiniGrid、PyBulletなどのベンチマークでULTHOをテストする。
  論文  参考訳（メタデータ） (2025-03-08T07:03:43Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Speeding Up Multi-Objective Hyperparameter Optimization by Task Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator [37.553558410770314]
  本稿では,タスク間のトップドメインの重複によって定義されるタスク類似性を用いて,TPEの取得機能をメタラーニング設定に拡張する。 実験では,表付きHPOベンチマークでMO-TPEを高速化し,最先端の性能が得られることを示した。
  論文  参考訳（メタデータ） (2022-12-13T17:33:02Z)
• c-TPE: Tree-structured Parzen Estimator with Inequality Constraints for Expensive Hyperparameter Optimization [45.67326752241075]
  本稿では,この制約に対処するための制約付きTPE (c-TPE) を提案する。 提案するエクステンションは,既存の取得関数とオリジナルのTPEの単純な組み合わせに留まらず,パフォーマンスの低下の原因となる問題に対処する修正も含んでいる。 実験では,C-TPEは,不等式制約のある81のHPOに対して,統計的に有意な既存の手法の中で,最高の平均ランク性能を示すことを示した。
  論文  参考訳（メタデータ） (2022-11-26T00:25:11Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Supervising the Multi-Fidelity Race of Hyperparameter Configurations [22.408069485293666]
  我々はベイズ最適化手法であるDyHPOを導入し、どのハイパーパラメータ構成を、実現可能な構成のレースでさらに訓練するかを学習する。 大規模実験による最先端ハイパーパラメータ最適化手法に対するDyHPOの顕著な優位性を示す。
  論文  参考訳（メタデータ） (2022-02-20T10:28:02Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Parallel Predictive Entropy Search for Multi-objective Bayesian Optimization with Constraints [0.0]
  実世界の問題は、しばしば複数の制約の下で複数の目的を最適化する。 本稿では,ブラックボックス関数の同時最適化のための情報ベースバッチ手法であるPESMOCを紹介する。 繰り返して、PESMOCはブラックボックスを評価するための入力場所のバッチを選択する。
  論文  参考訳（メタデータ） (2020-04-01T17:37:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。