論文の概要: Optimum-statistical collaboration towards efficient black-box optimization

• arxiv url: http://arxiv.org/abs/2106.09215v1
• Date: Thu, 17 Jun 2021 02:37:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 16:08:09.245262
• Title: Optimum-statistical collaboration towards efficient black-box optimization
• Title（参考訳）: 効率的なブラックボックス最適化に向けた最適統計的協調
• Authors: Wenjie Li, Chihua Wang, Guang Cheng
• Abstract要約: 我々は,ブラックボックス最適化における統計的不確実性の役割について,より効率的なアルゴリズム設計の導出を行う。 この枠組みに着想を得て,局所滑らか性仮定のみを仮定した目的関数に対するtextttVHCTアルゴリズムを提案する。 理論上,我々のアルゴリズムは,速度-最適後悔境界を満足することを示した。
• 参考スコア（独自算出の注目度）: 21.955879592384377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With increasingly more hyperparameters involved in their training, machine learning systems demand a better understanding of hyperparameter tuning automation. This has raised interest in studies of provably black-box optimization, which is made more practical by better exploration mechanism implemented in algorithm design, managing the flux of both optimization and statistical errors. Prior efforts focus on delineating optimization errors, but this is deficient: black-box optimization algorithms can be inefficient without considering heterogeneity among reward samples. In this paper, we make the key delineation on the role of statistical uncertainty in black-box optimization, guiding a more efficient algorithm design. We introduce \textit{optimum-statistical collaboration}, a framework of managing the interaction between optimization error flux and statistical error flux evolving in the optimization process. Inspired by this framework, we propose the \texttt{VHCT} algorithms for objective functions with only local-smoothness assumptions. In theory, we prove our algorithm enjoys rate-optimal regret bounds; in experiments, we show the algorithm outperforms prior efforts in extensive settings.
• Abstract（参考訳）: ハイパーパラメータのトレーニングがますます増えており、マシンラーニングシステムはハイパーパラメータのチューニング自動化をより理解する必要がある。 このことは、アルゴリズム設計で実装されたより良い探索機構によりより実用的なブラックボックス最適化の研究への関心を高め、最適化と統計的誤差の両方のフラックスを管理している。 ブラックボックス最適化アルゴリズムは、報酬サンプル間の不均一性を考慮せずに、非効率になる可能性がある。 本稿では,ブラックボックス最適化における統計的不確実性の役割を重要視し,より効率的なアルゴリズム設計を導く。 最適化プロセスにおいて,最適化誤差フラックスと統計的エラーフラックスとの相互作用を管理するフレームワークである \textit{optimum-statistical collaboration} を導入する。 この枠組みに着想を得て,局所平滑性仮定のみを仮定した目的関数に対するtexttt{VHCT}アルゴリズムを提案する。 理論上,我々のアルゴリズムはレート・オプティカルな後悔の限界を満足していることを証明する。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Black-box Optimization with Simultaneous Statistical Inference for Optimal Performance [18.13513199455587]
  ブラックボックス最適化は複雑なシステム管理における意思決定においてしばしば発生する。 我々のゴールは、最適化と統計的推測の2つのタスクをオンライン方式で最適性能に対処することである。
  論文  参考訳（メタデータ） (2025-01-14T02:37:09Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
  最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。 鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。 本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Parameter-Free Algorithms for Performative Regret Minimization under Decision-Dependent Distributions [15.396561118589577]
  パフォーマンスリスク最小化は、決定依存分布の下での最適化の定式化である。 我々のアルゴリズムは、既存のリプシッツ定数分布パラメータに基づく手法を大幅に改善する。 提案手法は,既存手法と他のブラックボックス楽観的最適化手法に比較して,アルゴリズムの数値的優位性を示す実験結果を提供する。
  論文  参考訳（メタデータ） (2024-02-23T08:36:28Z)
• Explainable Benchmarking for Iterative Optimization Heuristics [0.8192907805418583]
  我々は、様々な最適化アルゴリズムの性能を分析し、理解するためのIOH-Xplainerソフトウェアフレームワークを紹介する。 さまざまなアルゴリズムコンポーネントと構成の影響を調査し、さまざまなシナリオにおけるパフォーマンスに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-31T14:02:26Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。