論文の概要: Tree-Structured Parzen Estimator: Understanding Its Algorithm Components and Their Roles for Better Empirical Performance

• arxiv url: http://arxiv.org/abs/2304.11127v4
• Date: Tue, 30 Sep 2025 15:18:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:03.793528
• Title: Tree-Structured Parzen Estimator: Understanding Its Algorithm Components and Their Roles for Better Empirical Performance
• Title（参考訳）: 木構造型パーゼン推定器:アルゴリズム成分の理解と経験的性能向上への役割
• Authors: Shuhei Watanabe,
• Abstract要約: Tree-structured Parzen estimator (TPE)は、HyperoptやOptunaといった最近のパラメータチューニングフレームワークで広く使われているベイズ最適化手法である。 その人気にもかかわらず、TPEにおける各制御パラメータの役割とアルゴリズムの直観は今のところ議論されていない。 本稿では,各種ベンチマークデータセットを用いたアブレーション研究に基づいて,各制御パラメータの役割とパラメータチューニングへの影響を明らかにする。
• 参考スコア（独自算出の注目度）: 4.629694186457132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent scientific advances require complex experiment design, necessitating the meticulous tuning of many experiment parameters. Tree-structured Parzen estimator (TPE) is a widely used Bayesian optimization method in recent parameter tuning frameworks such as Hyperopt and Optuna. Despite its popularity, the roles of each control parameter in TPE and the algorithm intuition have not been discussed so far. The goal of this paper is to identify the roles of each control parameter and their impacts on parameter tuning based on the ablation studies using diverse benchmark datasets. The recommended setting concluded from the ablation studies is demonstrated to improve the performance of TPE. Our TPE implementation used in this paper is available at https://github.com/nabenabe0928/tpe/tree/single-opt.
• Abstract（参考訳）: 最近の科学的進歩には複雑な実験設計が必要であり、多くの実験パラメータの綿密なチューニングが必要である。 Tree-structured Parzen estimator (TPE)は、HyperoptやOptunaといった最近のパラメータチューニングフレームワークで広く使われているベイズ最適化手法である。 その人気にもかかわらず、TPEにおける各制御パラメータの役割とアルゴリズムの直観は今のところ議論されていない。 本研究の目的は,多様なベンチマークデータセットを用いたアブレーション研究に基づいて,各制御パラメータの役割とパラメータチューニングへの影響を明らかにすることである。 アブレーション研究から得られた推奨設定は,TPEの性能を向上させることを実証した。 本稿で使用したTPE実装は、https://github.com/nabe0928/tpe/tree/single-opt.comで公開しています。

関連論文リスト

• Modified Adaptive Tree-Structured Parzen Estimator for Hyperparameter Optimization [0.0]
  本稿では,アダプティブツリー構造型パーゼンエミュレータ (ATPE) アルゴリズムのいくつかの改良を提案する。 実験の結果,提案手法はATPEハイパーパラメータ最適化の有効性を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-02-02T18:45:28Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization [19.351804144005744]
  ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。 新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。 ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
  論文  参考訳（メタデータ） (2024-01-19T21:11:32Z)
• Hyperparameters in Reinforcement Learning and How To Tune Them [25.782420501870295]
  深層強化学習におけるハイパーパラメータの選択は,エージェントの最終的な性能とサンプル効率に大きな影響を及ぼすことを示す。 我々は,シードのチューニングとテストの分離など,AutoMLから確立されたベストプラクティスを採用することを提案する。 我々は、最先端のHPOツールを、RLアルゴリズムや環境を手作りのツールと比較することで、これをサポートする。
  論文  参考訳（メタデータ） (2023-06-02T07:48:18Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• Parameter-Efficient Fine-Tuning Design Spaces [63.954953653386106]
  パラメータ効率の良いファインチューニング設計パラダイムを提案し、異なる実験環境に適用可能な設計パターンを探索する。 実験により,これらの手法は,異なるバックボーンモデルと自然言語処理における異なるタスク間のパラメータ効率の高い微調整戦略を連続的に,かつ著しく上回ることを示した。
  論文  参考訳（メタデータ） (2023-01-04T21:00:18Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Theory-inspired Parameter Control Benchmarks for Dynamic Algorithm Configuration [32.055812915031666]
  与えられたサイズの最適パラメータポートフォリオの計算方法を示す。 可能な値のポートフォリオのみからパラメータを選択できる最適制御ポリシーを解析することにより、このベンチマークを拡張します。 動的アルゴリズム構成のためのDDQN強化学習手法の挙動を解析することにより,ベンチマークの有用性を実証する。
  論文  参考訳（メタデータ） (2022-02-07T15:00:30Z)
• Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation [34.89735938765757]
  木構造関数への加法仮定を一般化し, 改良された試料効率, より広い適用性, 柔軟性を示す。 パラメータ空間の構造情報と加法仮定をBOループに組み込むことで,取得関数を最適化する並列アルゴリズムを開発した。 本稿では,事前学習したVGG16およびRes50モデルのプルーニングとResNet20の検索アクティベーション関数に関する最適化ベンチマーク関数について述べる。
  論文  参考訳（メタデータ） (2020-10-06T16:08:58Z)
• Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization [34.89735938765757]
  木構造関数への加法的仮定を一般化する。 パラメータ空間の構造情報と加法仮定をBOループに組み込むことで,取得関数を最適化する並列アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-06-21T11:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。