論文の概要: Tree-Structured Parzen Estimator: Understanding Its Algorithm Components and Their Roles for Better Empirical Performance

• arxiv url: http://arxiv.org/abs/2304.11127v3
• Date: Fri, 26 May 2023 10:09:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 20:12:50.539069
• Title: Tree-Structured Parzen Estimator: Understanding Its Algorithm Components and Their Roles for Better Empirical Performance
• Title（参考訳）: 木構造型パーゼン推定器:アルゴリズム成分の理解と経験的性能向上への役割
• Authors: Shuhei Watanabe
• Abstract要約: 木構造型Parzen estimator (TPE) は最近のパラメータチューニングフレームワークで広く利用されている。 その人気にもかかわらず、制御パラメーターとアルゴリズム直観の役割は今のところ議論されていない。
• 参考スコア（独自算出の注目度）: 1.370633147306388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in many domains require more and more complicated experiment design. Such complicated experiments often have many parameters, which necessitate parameter tuning. Tree-structured Parzen estimator (TPE), a Bayesian optimization method, is widely used in recent parameter tuning frameworks. Despite its popularity, the roles of each control parameter and the algorithm intuition have not been discussed so far. In this tutorial, we will identify the roles of each control parameter and their impacts on hyperparameter optimization using a diverse set of benchmarks. We compare our recommended setting drawn from the ablation study with baseline methods and demonstrate that our recommended setting improves the performance of TPE. Our TPE implementation is available at https://github.com/nabenabe0928/tpe/tree/single-opt.
• Abstract（参考訳）: 多くの領域における最近の進歩は、より複雑な実験設計を必要とする。 このような複雑な実験は、しばしばパラメータチューニングを必要とする多くのパラメータを持つ。 ベイズ最適化手法であるTPE(Tree-structured Parzen estimator)は,最近のパラメータチューニングフレームワークで広く利用されている。 その人気にもかかわらず、制御パラメータとアルゴリズム直観の役割については議論されていない。 本チュートリアルでは,多種多様なベンチマークを用いて,各制御パラメータの役割とハイパーパラメータ最適化への影響を明らかにする。 アブレーション研究から得られた推奨設定とベースライン手法を比較し,提案設定がTPEの性能を向上させることを示す。 tpeの実装はhttps://github.com/nabenabe0928/tpe/tree/single-optで利用可能です。

関連論文リスト

• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• A Unified Gaussian Process for Branching and Nested Hyperparameter Optimization [19.351804144005744]
  ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。 新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。 ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
  論文  参考訳（メタデータ） (2024-01-19T21:11:32Z)
• Hyperparameters in Reinforcement Learning and How To Tune Them [25.782420501870295]
  深層強化学習におけるハイパーパラメータの選択は,エージェントの最終的な性能とサンプル効率に大きな影響を及ぼすことを示す。 我々は,シードのチューニングとテストの分離など,AutoMLから確立されたベストプラクティスを採用することを提案する。 我々は、最先端のHPOツールを、RLアルゴリズムや環境を手作りのツールと比較することで、これをサポートする。
  論文  参考訳（メタデータ） (2023-06-02T07:48:18Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• Parameter-Efficient Fine-Tuning Design Spaces [63.954953653386106]
  パラメータ効率の良いファインチューニング設計パラダイムを提案し、異なる実験環境に適用可能な設計パターンを探索する。 実験により,これらの手法は,異なるバックボーンモデルと自然言語処理における異なるタスク間のパラメータ効率の高い微調整戦略を連続的に,かつ著しく上回ることを示した。
  論文  参考訳（メタデータ） (2023-01-04T21:00:18Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Theory-inspired Parameter Control Benchmarks for Dynamic Algorithm Configuration [32.055812915031666]
  与えられたサイズの最適パラメータポートフォリオの計算方法を示す。 可能な値のポートフォリオのみからパラメータを選択できる最適制御ポリシーを解析することにより、このベンチマークを拡張します。 動的アルゴリズム構成のためのDDQN強化学習手法の挙動を解析することにより,ベンチマークの有用性を実証する。
  論文  参考訳（メタデータ） (2022-02-07T15:00:30Z)
• Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation [34.89735938765757]
  木構造関数への加法仮定を一般化し, 改良された試料効率, より広い適用性, 柔軟性を示す。 パラメータ空間の構造情報と加法仮定をBOループに組み込むことで,取得関数を最適化する並列アルゴリズムを開発した。 本稿では,事前学習したVGG16およびRes50モデルのプルーニングとResNet20の検索アクティベーション関数に関する最適化ベンチマーク関数について述べる。
  論文  参考訳（メタデータ） (2020-10-06T16:08:58Z)
• Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization [34.89735938765757]
  木構造関数への加法的仮定を一般化する。 パラメータ空間の構造情報と加法仮定をBOループに組み込むことで,取得関数を最適化する並列アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-06-21T11:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。