論文の概要: c-TPE: Tree-structured Parzen Estimator with Inequality Constraints for Expensive Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2211.14411v4
• Date: Fri, 26 May 2023 09:44:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 23:20:19.084874
• Title: c-TPE: Tree-structured Parzen Estimator with Inequality Constraints for Expensive Hyperparameter Optimization
• Title（参考訳）: c-TPE:高パラメータ最適化のための不等式制約付き木構造パーゼン推定器
• Authors: Shuhei Watanabe, Frank Hutter
• Abstract要約: 本稿では,この制約に対処するための制約付きTPE (c-TPE) を提案する。 提案するエクステンションは,既存の取得関数とオリジナルのTPEの単純な組み合わせに留まらず,パフォーマンスの低下の原因となる問題に対処する修正も含んでいる。 実験では,C-TPEは,不等式制約のある81のHPOに対して,統計的に有意な既存の手法の中で,最高の平均ランク性能を示すことを示した。
• 参考スコア（独自算出の注目度）: 45.67326752241075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization (HPO) is crucial for strong performance of deep learning algorithms and real-world applications often impose some constraints, such as memory usage, or latency on top of the performance requirement. In this work, we propose constrained TPE (c-TPE), an extension of the widely-used versatile Bayesian optimization method, tree-structured Parzen estimator (TPE), to handle these constraints. Our proposed extension goes beyond a simple combination of an existing acquisition function and the original TPE, and instead includes modifications that address issues that cause poor performance. We thoroughly analyze these modifications both empirically and theoretically, providing insights into how they effectively overcome these challenges. In the experiments, we demonstrate that c-TPE exhibits the best average rank performance among existing methods with statistical significance on 81 expensive HPO with inequality constraints. Due to the lack of baselines, we only discuss the applicability of our method to hard-constrained optimization in Appendix D.
• Abstract（参考訳）: ハイパーパラメータ最適化(hpo)は、ディープラーニングアルゴリズムの強力なパフォーマンスに不可欠であり、現実世界のアプリケーションは、しばしばメモリ使用量やパフォーマンス要求の遅延といったいくつかの制約を課す。 本研究では,多用途ベイズ最適化手法である木構造パルゼン推定器(tree-structured parzen estimator, tpe)の拡張である制約付きtpe (c-tpe) を提案する。 提案するエクステンションは,既存の取得関数とオリジナルのTPEの単純な組み合わせに留まらず,パフォーマンスの低下の原因となる問題に対処する修正も含んでいる。 我々はこれらの修正を経験的および理論的に徹底的に分析し、これらの課題を効果的に克服する方法についての洞察を提供する。 実験では,C-TPEは,不等式制約のある81のHPOに対して,統計的に有意な既存手法の中で最高の平均ランク性能を示すことを示した。 ベースラインの欠如により,Appendix D におけるハードコントラスト最適化への本手法の適用性についてのみ論じる。

関連論文リスト

• ASFT: Aligned Supervised Fine-Tuning through Absolute Likelihood [14.512464277772194]
  Aligned Supervised Fine-Tuning (ASFT)は、大規模言語モデルとペアワイズデータセットの整合性を改善する効果的なアプローチである。 ASFTは、DPO損失関数が人間の不適切なデータを生成する確率を減少させる問題を緩和する。 大規模な実験により、ASFTは効果的なアライメントアプローチであり、既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-14T11:39:13Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Speeding Up Multi-Objective Hyperparameter Optimization by Task Similarity-Based Meta-Learning for the Tree-Structured Parzen Estimator [37.553558410770314]
  本稿では,タスク間のトップドメインの重複によって定義されるタスク類似性を用いて,TPEの取得機能をメタラーニング設定に拡張する。 実験では,表付きHPOベンチマークでMO-TPEを高速化し,最先端の性能が得られることを示した。
  論文  参考訳（メタデータ） (2022-12-13T17:33:02Z)
• ACE: Adaptive Constraint-aware Early Stopping in Hyperparameter Optimization [18.81207777891714]
  適応制約対応早期停止法(ACE)を提案し,HPO中の試行錯誤に制約評価を組み込む。 全体の最適化コストを最小限に抑えるため、ACEは期待される評価コストの理論的解析に基づいて、コスト効果のある制約評価間隔を推定する。
  論文  参考訳（メタデータ） (2022-08-04T22:56:16Z)
• Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality [141.89413461337324]
  展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である 本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
  論文  参考訳（メタデータ） (2022-02-14T01:31:46Z)
• Scalable Constrained Bayesian Optimization [10.820024633762596]
  ブラックボックス制約下での高次元ブラックボックス関数のグローバルな最適化は、機械学習、制御、科学コミュニティにおける普及的なタスクである。 本稿では,上記の課題を克服し,現状を推し進めるスケーラブルな制約付きベイズ最適化(SCBO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-20T01:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。