論文の概要: Optimum-statistical Collaboration Towards General and Efficient Black-box Optimization

• arxiv url: http://arxiv.org/abs/2106.09215v5
• Date: Wed, 31 May 2023 05:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 23:35:10.445961
• Title: Optimum-statistical Collaboration Towards General and Efficient Black-box Optimization
• Title（参考訳）: 汎用的・効率的なブラックボックス最適化に向けた最適統計的協調
• Authors: Wenjie Li, Chi-Hua Wang, Guang Cheng, Qifan Song
• Abstract要約: 最適化過程において,最適化誤差フラックスと統計的誤差フラックスとの相互作用を管理するアルゴリズムフレームワークを導入する。 我々のフレームワークとその分析は、異なる局所的滑らかさの仮定を満たす関数と分割の大きなファミリーに適用できる。 理論的には、局所的滑らかさの仮定が異なる条件下で、アルゴリズムが速度-最適後悔境界を楽しむことを証明する。
• 参考スコア（独自算出の注目度）: 23.359363844344408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we make the key delineation on the roles of resolution and statistical uncertainty in hierarchical bandits-based black-box optimization algorithms, guiding a more general analysis and a more efficient algorithm design. We introduce the \textit{optimum-statistical collaboration}, an algorithm framework of managing the interaction between optimization error flux and statistical error flux evolving in the optimization process. We provide a general analysis of this framework without specifying the forms of statistical error and uncertainty quantifier. Our framework and its analysis, due to their generality, can be applied to a large family of functions and partitions that satisfy different local smoothness assumptions and have different numbers of local optimums, which is much richer than the class of functions studied in prior works. Our framework also inspires us to propose a better measure of the statistical uncertainty and consequently a variance-adaptive algorithm \texttt{VHCT}. In theory, we prove the algorithm enjoys rate-optimal regret bounds under different local smoothness assumptions; in experiments, we show the algorithm outperforms prior efforts in different settings.
• Abstract（参考訳）: 本稿では,階層的バンディットに基づくブラックボックス最適化アルゴリズムにおける分解能と統計的不確実性の役割について,より一般的な解析とより効率的なアルゴリズム設計を導く。 本稿では,最適化過程における最適化誤差フラックスと統計誤差フラックスとの相互作用を管理するためのアルゴリズムフレームワークである \textit{optimum-statistical collaboration} を紹介する。 統計的誤差と不確かさの定量化の形式を指定せずに,この枠組みの一般的な解析を行う。 我々のフレームワークとその解析は、その一般化により、局所滑らか性の仮定が異なる局所最適性の仮定を満たす関数や分割の族に適用でき、これは以前の研究で研究された関数のクラスよりもはるかにリッチである。 また,統計的不確実性のより良い測定法を提案し,その結果,分散適応アルゴリズムであるtexttt{VHCT}を提案する。 理論上,このアルゴリズムは局所的な滑らかさの異なる仮定下ではレート最適の後悔の限界を享受していることを証明している。

関連論文リスト

• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
  最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。 鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。 本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
  本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。 我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。 本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2024-03-01T14:55:22Z)
• Parameter-Free Algorithms for Performative Regret Minimization under Decision-Dependent Distributions [15.396561118589577]
  パフォーマンスリスク最小化は、決定依存分布の下での最適化の定式化である。 我々のアルゴリズムは、既存のリプシッツ定数分布パラメータに基づく手法を大幅に改善する。 提案手法は,既存手法と他のブラックボックス楽観的最適化手法に比較して,アルゴリズムの数値的優位性を示す実験結果を提供する。
  論文  参考訳（メタデータ） (2024-02-23T08:36:28Z)
• Explainable Benchmarking for Iterative Optimization Heuristics [0.8192907805418583]
  我々は、様々な最適化アルゴリズムの性能を分析し、理解するためのIOH-Xplainerソフトウェアフレームワークを紹介する。 さまざまなアルゴリズムコンポーネントと構成の影響を調査し、さまざまなシナリオにおけるパフォーマンスに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-31T14:02:26Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• A unified surrogate-based scheme for black-box and preference-based optimization [2.561649173827544]
  ブラックボックスと嗜好に基づく最適化問題は密接に関連しており、同じアプローチのファミリを用いて解決可能であることを示す。 一般的なMSRSフレームワークを一般化した最適化手法である一般化されたメトリック応答面(gMRS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-03T08:47:54Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。