論文の概要: Scalable Acceleration for Classification-Based Derivative-Free Optimization
- arxiv url: http://arxiv.org/abs/2309.11036v2
- Date: Thu, 19 Dec 2024 10:58:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 13:26:50.152048
- Title: Scalable Acceleration for Classification-Based Derivative-Free Optimization
- Title（参考訳）: 分類に基づく微分自由最適化のためのスケーラブルな高速化
- Authors: Tianyi Han, Jingya Li, Zhipeng Guo, Yuan Jin,
- Abstract要約: RACE-CARS というアルゴリズムを提案し、SRACOS と比較してランダムな領域収縮ステップを付加する。
言語モデル・アズ・ア・サービスのためのブラックボックスチューニングと合成機能の実験は、RAS-CARSの効率を実証的に示す。
- 参考スコア（独自算出の注目度）: 3.4430965634803656
- License:
- Abstract: Derivative-free optimization algorithms play an important role in scientific and engineering design optimization problems, especially when derivative information is not accessible. In this paper, we study the framework of sequential classification-based derivative-free optimization algorithms. By introducing learning theoretic concept hypothesis-target shattering rate, we revisit the computational complexity upper bound of SRACOS (Hu, Qian, and Yu 2017). Inspired by the revisited upper bound, we propose an algorithm named RACE-CARS, which adds a random region-shrinking step compared with SRACOS. We further establish theorems showing the acceleration by region shrinking. Experiments on the synthetic functions as well as black-box tuning for language-model-as-a-service demonstrate empirically the efficiency of RACE-CARS. An ablation experiment on the introduced hyperparameters is also conducted, revealing the mechanism of RACE-CARS and putting forward an empirical hyper-parameter tuning guidance.
- Abstract（参考訳）: 微分自由最適化アルゴリズムは、特に微分情報がアクセスできない場合に、科学的および工学的設計最適化問題において重要な役割を果たす。
本稿では,逐次分類に基づく微分自由最適化アルゴリズムの枠組みについて検討する。
そこで,SRACOSの計算複雑性上界(Hu,Qian,Yu 2017)を再考する。
RACE-CARS というアルゴリズムを提案し,SRACOS と比較してランダムな領域収縮ステップを付加する。
さらに、領域縮小による加速を示す定理を定めている。
言語モデル・アズ・ア・サービスのためのブラックボックスチューニングと合成機能の実験は、RAS-CARSの効率を実証的に示す。
導入したハイパーパラメータのアブレーション実験も行われ、RAS-CARSのメカニズムを明らかにし、実証的なハイパーパラメータチューニングガイダンスを提示した。
関連論文リスト
- Alternating minimization for square root principal component pursuit [2.449191760736501]
平方根主成分探索(SRPCP)問題を解くための効率的なアルゴリズムを開発した。
具体的には、各反復が閉形式最適解を楽しむサブプロブレムを含む、チューニング不要な交互最小化(AltMin)アルゴリズムを提案する。
我々は,AltMin法をさらに加速するために,核ノルムの変分定式化とブラー・モンティロ分解に基づく手法を導入する。
論文 参考訳（メタデータ） (2024-12-31T14:43:50Z) - Equation discovery framework EPDE: Towards a better equation discovery [50.79602839359522]
進化的最適化に基づく発見フレームワークであるEPDEアルゴリズムを強化する。
提案手法は基本関数や個人差分といった基本構造ブロックを用いて用語を生成する。
我々は,提案アルゴリズムの耐雑音性および全体的な性能を,最先端の方程式探索フレームワークであるSINDyの結果と比較することによって検証する。
論文 参考訳（メタデータ） (2024-12-28T15:58:44Z) - Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。
新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
論文 参考訳（メタデータ） (2024-01-30T14:16:06Z) - Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳（メタデータ） (2023-10-18T10:29:58Z) - Accelerating optimization over the space of probability measures [17.32262527237843]
ユークリッド空間における運動量に基づくアプローチに類似したハミルトン流アプローチを導入する。
我々は、連続的な時間設定において、このアプローチに基づくアルゴリズムが任意に高次収束率を達成できることを実証した。
論文 参考訳（メタデータ） (2023-10-06T04:32:15Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - A theoretical and empirical study of new adaptive algorithms with
additional momentum steps and shifted updates for stochastic non-convex
optimization [0.0]
適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。
本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
論文 参考訳（メタデータ） (2021-10-16T09:47:57Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。
提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。
加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
論文 参考訳（メタデータ） (2020-06-11T18:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。