論文の概要: Stabilizing Bi-Level Hyperparameter Optimization using Moreau-Yosida Regularization

• arxiv url: http://arxiv.org/abs/2007.13322v1
• Date: Mon, 27 Jul 2020 06:47:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 07:45:11.126801
• Title: Stabilizing Bi-Level Hyperparameter Optimization using Moreau-Yosida Regularization
• Title（参考訳）: Moreau-Yosida正則化を用いた二レベルハイパーパラメータの安定化
• Authors: Sauptik Dhar, Unmesh Kurup, Mohak Shah
• Abstract要約: 本研究は,Moreau-Yosidaエンベロープを用いてバイレベルHPOソルバの収束挙動を安定化することを提案する。 本稿では,Moreau-Yosida regularized Hyperparameter Optimization (MY-HPO)アルゴリズムを提案する。 その結果, 最先端の2レベルHPOソルバと比較して, 固定予算における損失値の大幅な改善が認められた。
• 参考スコア（独自算出の注目度）: 9.377434656823109
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This research proposes to use the Moreau-Yosida envelope to stabilize the convergence behavior of bi-level Hyperparameter optimization solvers, and introduces the new algorithm called Moreau-Yosida regularized Hyperparameter Optimization (MY-HPO) algorithm. Theoretical analysis on the correctness of the MY-HPO solution and initial convergence analysis is also provided. Our empirical results show significant improvement in loss values for a fixed computation budget, compared to the state-of-art bi-level HPO solvers.
• Abstract（参考訳）: 本研究は,Moreau-Yosidaエンベロープを用いて2レベルハイパーパラメータ最適化の収束挙動を安定化し,Moreau-Yosida regularized Hyperparameter Optimization (MY-HPO)アルゴリズムという新しいアルゴリズムを提案する。 MY-HPO溶液の正当性に関する理論的解析と初期収束解析も提供する。 実験の結果, 最先端の2レベルHPO解法と比較して, 固定計算予算における損失値の大幅な改善が認められた。

関連論文リスト

• Efficient and Robust Parameter Optimization of the Unitary Coupled-Cluster Ansatz [4.607081302947026]
  本稿では、量子コンピュータ上でのユニタリ結合クラスタ・アンサッツのパラメータ最適化のために、近似パラボラ(SOAP)を用いた逐次最適化を提案する。 分子システムに関する数値的なベンチマークでは、SOAPはより高速な収束とノイズに対する堅牢性を達成することが示されている。 SOAPは、2量子ビットモデルシステムを用いた超伝導量子コンピュータの実験によりさらに検証される。
  論文  参考訳（メタデータ） (2024-01-10T03:30:39Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Value Function Based Difference-of-Convex Algorithm for Bilevel Hyperparameter Selection Problems [5.940592509070767]
  不確定性(VF-iDCA)を有する逐次収束値に基づく差分関数アルゴリズムを開発する。 実験の結果,提案したVF-iDCAはハイパーパラメータのチューニングに際し,優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2022-06-13T08:51:10Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。