論文の概要: c-TPE: Generalizing Tree-structured Parzen Estimator with Inequality Constraints for Continuous and Categorical Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2211.14411v1
• Date: Sat, 26 Nov 2022 00:25:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 15:38:42.580144
• Title: c-TPE: Generalizing Tree-structured Parzen Estimator with Inequality Constraints for Continuous and Categorical Hyperparameter Optimization
• Title（参考訳）: c-TPE:連続的・カテゴリー的ハイパーパラメータ最適化のための不等式制約付き木構造パーゼン推定器の一般化
• Authors: Shuhei Watanabe, Frank Hutter
• Abstract要約: 本稿では,木構造を持つParzen estimator (TPE) を,AF の単純な分解による制約付き最適化 (c-TPE) に拡張する。 実験では、c-TPEは様々な制約レベルに対して堅牢であり、既存の手法の中で最高の平均ランク性能を示す。
• 参考スコア（独自算出の注目度）: 45.67326752241075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization (HPO) is crucial for strong performance of deep learning algorithms. A widely-used versatile HPO method is a variant of Bayesian optimization called tree-structured Parzen estimator (TPE), which splits data into good and bad groups and uses the density ratio of those groups as an acquisition function (AF). However, real-world applications often have some constraints, such as memory requirements, or latency. In this paper, we present an extension of TPE to constrained optimization (c-TPE) via simple factorization of AFs. The experiments demonstrate c-TPE is robust to various constraint levels and exhibits the best average rank performance among existing methods with statistical significance on search spaces with categorical parameters on 81 settings.
• Abstract（参考訳）: ハイパーパラメータ最適化(HPO)はディープラーニングアルゴリズムの性能向上に不可欠である。 広く使われている汎用HPO法は、木構造パーゼン推定器(TPE)と呼ばれるベイズ最適化の変種であり、データを良いグループと悪いグループに分割し、それらのグループの密度比を取得関数(AF)として利用する。 しかし、現実のアプリケーションは、メモリ要件やレイテンシなど、いくつかの制約があることが多い。 本稿では,制約付き最適化(c-TPE)へのTPEの拡張について,AFの簡単な分解による提案を行う。 実験は,c-TPEが様々な制約レベルに対して堅牢であることを示し,81設定のカテゴリーパラメータを持つ探索空間において,統計的に有意な既存の手法の中で,最高の平均ランク性能を示す。

関連論文リスト

• ASFT: Aligned Supervised Fine-Tuning through Absolute Likelihood [14.512464277772194]
  Aligned Supervised Fine-Tuning (ASFT)は、大規模言語モデルとペアワイズデータセットの整合性を改善する効果的なアプローチである。 ASFTは、DPO損失関数が人間の不適切なデータを生成する確率を減少させる問題を緩和する。 大規模な実験により、ASFTは効果的なアライメントアプローチであり、既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-14T11:39:13Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Speeding Up Multi-Objective Hyperparameter Optimization by Task Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator [37.553558410770314]
  本稿では,タスク間のトップドメインの重複によって定義されるタスク類似性を用いて,TPEの取得機能をメタラーニング設定に拡張する。 実験では,表付きHPOベンチマークでMO-TPEを高速化し,最先端の性能が得られることを示した。
  論文  参考訳（メタデータ） (2022-12-13T17:33:02Z)
• ACE: Adaptive Constraint-aware Early Stopping in Hyperparameter Optimization [18.81207777891714]
  適応制約対応早期停止法(ACE)を提案し,HPO中の試行錯誤に制約評価を組み込む。 全体の最適化コストを最小限に抑えるため、ACEは期待される評価コストの理論的解析に基づいて、コスト効果のある制約評価間隔を推定する。
  論文  参考訳（メタデータ） (2022-08-04T22:56:16Z)
• Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality [141.89413461337324]
  展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である 本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
  論文  参考訳（メタデータ） (2022-02-14T01:31:46Z)
• Scalable Constrained Bayesian Optimization [10.820024633762596]
  ブラックボックス制約下での高次元ブラックボックス関数のグローバルな最適化は、機械学習、制御、科学コミュニティにおける普及的なタスクである。 本稿では,上記の課題を克服し,現状を推し進めるスケーラブルな制約付きベイズ最適化(SCBO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-20T01:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。