論文の概要: Hyperparameter Tuning Through Pessimistic Bilevel Optimization

• arxiv url: http://arxiv.org/abs/2412.03666v1
• Date: Wed, 04 Dec 2024 19:01:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:40:09.795913
• Title: Hyperparameter Tuning Through Pessimistic Bilevel Optimization
• Title（参考訳）: 悲観的二レベル最適化によるハイパーパラメータチューニング
• Authors: Meltem Apaydin Ustun, Liang Xu, Bo Zeng, Xiaoning Qian,
• Abstract要約: 我々は、計算的に難解な悲観的二段階最適化問題を解くために、緩和に基づく新しい近似法を開発した。 悲観的なソリューションは、トレーニングデータや摂動テストデータに制限がある場合、楽観的な方法よりも優れた予測性能を示しています。
• 参考スコア（独自算出の注目度）: 20.353504462492992
• License:
• Abstract: Automated hyperparameter search in machine learning, especially for deep learning models, is typically formulated as a bilevel optimization problem, with hyperparameter values determined by the upper level and the model learning achieved by the lower-level problem. Most of the existing bilevel optimization solutions either assume the uniqueness of the optimal training model given hyperparameters or adopt an optimistic view when the non-uniqueness issue emerges. Potential model uncertainty may arise when training complex models with limited data, especially when the uniqueness assumption is violated. Thus, the suitability of the optimistic view underlying current bilevel hyperparameter optimization solutions is questionable. In this paper, we propose pessimistic bilevel hyperparameter optimization to assure appropriate outer-level hyperparameters to better generalize the inner-level learned models, by explicitly incorporating potential uncertainty of the inner-level solution set. To solve the resulting computationally challenging pessimistic bilevel optimization problem, we develop a novel relaxation-based approximation method. It derives pessimistic solutions with more robust prediction models. In our empirical studies of automated hyperparameter search for binary linear classifiers, pessimistic solutions have demonstrated better prediction performances than optimistic counterparts when we have limited training data or perturbed testing data, showing the necessity of considering pessimistic solutions besides existing optimistic ones.
• Abstract（参考訳）: 機械学習における自動ハイパーパラメータ探索は、特にディープラーニングモデルにおいて、通常、2レベル最適化問題として定式化され、上位レベルによって決定されるハイパーパラメータ値と下位レベル問題によって達成されるモデル学習によって決定される。 既存の双レベル最適化ソリューションのほとんどは、ハイパーパラメータが与えられた最適トレーニングモデルの特異性を仮定するか、非特異性問題が発生すると楽観的な見方を採用するかのいずれかである。 潜在的なモデルの不確実性は、限られたデータを持つ複雑なモデルを訓練する際に起こりうる。 したがって、現在の双レベルハイパーパラメータ最適化の根底にある楽観的な視点の適合性は疑問視される。 本稿では,内部レベルの解集合の潜在的な不確実性を明示的に組み込むことで,内部レベルの学習モデルをよりよく一般化するために,適切な外部レベルのハイパーパラメータを確保するための悲観的二段階ハイパーパラメータ最適化を提案する。 計算的に難解な二段階最適化問題を解くために,新しい緩和に基づく近似法を開発した。 より堅牢な予測モデルで悲観的な解を導出する。 二元線形分類器の自動ハイパーパラメータ探索の実証研究において、悲観的解法は、訓練データや摂動テストデータに制限がある場合よりも楽観的解よりも優れた予測性能を示し、既存の楽観的解以外に悲観的解を考える必要があることを示した。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Decision-focused predictions via pessimistic bilevel optimization: a computational study [0.7499722271664147]
  最適化パラメータの不確かさは、重要かつ長年にわたる課題である。 予測モデルを構築して,それを用いた意思決定の文言的指標を測定します。 トラクタビリティを実現するために,様々な計算手法を示す。
  論文  参考訳（メタデータ） (2023-12-29T15:05:00Z)
• Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization [59.386153202037086]
  Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。 本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:32:06Z)
• Fine-Tuning Adaptive Stochastic Optimizers: Determining the Optimal Hyperparameter $ε$ via Gradient Magnitude Histogram Analysis [0.7366405857677226]
  我々は、損失の大きさの経験的確率密度関数に基づく新しい枠組みを導入し、これを「緩やかな等級ヒストグラム」と呼ぶ。 そこで本稿では, 最適安全のための精密かつ高精度な探索空間を自動推定するために, 勾配等級ヒストグラムを用いた新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• Optimizing Pessimism in Dynamic Treatment Regimes: A Bayesian Learning Approach [6.7826352751791985]
  本稿では,オフライン環境における最適動的処理系のための,悲観的に基づく新しいベイズ学習法を提案する。 我々は悲観主義の原理をトンプソンサンプリングとベイズ機械学習と統合し、悲観主義の度合いを最適化する。 本研究では,高効率かつスケーラブルな変分推論に基づく計算アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-26T02:14:10Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Bilevel Optimization for Differentially Private Optimization in Energy Systems [53.806512366696275]
  本稿では,入力に敏感な制約付き最適化問題に対して,差分プライバシーを適用する方法について検討する。 本稿は, 自然仮定の下では, 大規模非線形最適化問題に対して, 双レベルモデルを効率的に解けることを示す。
  論文  参考訳（メタデータ） (2020-01-26T20:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。