論文の概要: Scalable Acceleration for Classification-Based Derivative-Free Optimization

• arxiv url: http://arxiv.org/abs/2309.11036v2
• Date: Thu, 19 Dec 2024 10:58:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:26:50.152048
• Title: Scalable Acceleration for Classification-Based Derivative-Free Optimization
• Title（参考訳）: 分類に基づく微分自由最適化のためのスケーラブルな高速化
• Authors: Tianyi Han, Jingya Li, Zhipeng Guo, Yuan Jin,
• Abstract要約: RACE-CARS というアルゴリズムを提案し、SRACOS と比較してランダムな領域収縮ステップを付加する。 言語モデル・アズ・ア・サービスのためのブラックボックスチューニングと合成機能の実験は、RAS-CARSの効率を実証的に示す。
• 参考スコア（独自算出の注目度）: 3.4430965634803656
• License:
• Abstract: Derivative-free optimization algorithms play an important role in scientific and engineering design optimization problems, especially when derivative information is not accessible. In this paper, we study the framework of sequential classification-based derivative-free optimization algorithms. By introducing learning theoretic concept hypothesis-target shattering rate, we revisit the computational complexity upper bound of SRACOS (Hu, Qian, and Yu 2017). Inspired by the revisited upper bound, we propose an algorithm named RACE-CARS, which adds a random region-shrinking step compared with SRACOS. We further establish theorems showing the acceleration by region shrinking. Experiments on the synthetic functions as well as black-box tuning for language-model-as-a-service demonstrate empirically the efficiency of RACE-CARS. An ablation experiment on the introduced hyperparameters is also conducted, revealing the mechanism of RACE-CARS and putting forward an empirical hyper-parameter tuning guidance.
• Abstract（参考訳）: 微分自由最適化アルゴリズムは、特に微分情報がアクセスできない場合に、科学的および工学的設計最適化問題において重要な役割を果たす。 本稿では,逐次分類に基づく微分自由最適化アルゴリズムの枠組みについて検討する。 そこで,SRACOSの計算複雑性上界(Hu,Qian,Yu 2017)を再考する。 RACE-CARS というアルゴリズムを提案し,SRACOS と比較してランダムな領域収縮ステップを付加する。 さらに、領域縮小による加速を示す定理を定めている。 言語モデル・アズ・ア・サービスのためのブラックボックスチューニングと合成機能の実験は、RAS-CARSの効率を実証的に示す。 導入したハイパーパラメータのアブレーション実験も行われ、RAS-CARSのメカニズムを明らかにし、実証的なハイパーパラメータチューニングガイダンスを提示した。

関連論文リスト

• Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
  ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。 新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
  論文  参考訳（メタデータ） (2024-01-30T14:16:06Z)
• Accelerating optimization over the space of probability measures [17.32262527237843]
  ユークリッド空間における運動量に基づくアプローチに類似したハミルトン流アプローチを導入する。 我々は、連続的な時間設定において、このアプローチに基づくアルゴリズムが任意に高次収束率を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-10-06T04:32:15Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• A theoretical and empirical study of new adaptive algorithms with additional momentum steps and shifted updates for stochastic non-convex optimization [0.0]
  適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。 本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T09:47:57Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。