論文の概要: Sharpness-Aware Black-Box Optimization

• arxiv url: http://arxiv.org/abs/2410.12457v1
• Date: Wed, 16 Oct 2024 11:08:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:43:42.277305
• Title: Sharpness-Aware Black-Box Optimization
• Title（参考訳）: シャープネスを考慮したブラックボックス最適化
• Authors: Feiyang Ye, Yueming Lyu, Xuehao Wang, Masashi Sugiyama, Yu Zhang, Ivor Tsang,
• Abstract要約: シャープネスを考慮したブラックボックス最適化(SABO)アルゴリズムを提案する。 実験により, モデル一般化性能向上のためのSABO法の有効性が実証された。
• 参考スコア（独自算出の注目度）: 47.95184866255126
• License:
• Abstract: Black-box optimization algorithms have been widely used in various machine learning problems, including reinforcement learning and prompt fine-tuning. However, directly optimizing the training loss value, as commonly done in existing black-box optimization methods, could lead to suboptimal model quality and generalization performance. To address those problems in black-box optimization, we propose a novel Sharpness-Aware Black-box Optimization (SABO) algorithm, which applies a sharpness-aware minimization strategy to improve the model generalization. Specifically, the proposed SABO method first reparameterizes the objective function by its expectation over a Gaussian distribution. Then it iteratively updates the parameterized distribution by approximated stochastic gradients of the maximum objective value within a small neighborhood around the current solution in the Gaussian distribution space. Theoretically, we prove the convergence rate and generalization bound of the proposed SABO algorithm. Empirically, extensive experiments on the black-box prompt fine-tuning tasks demonstrate the effectiveness of the proposed SABO method in improving model generalization performance.
• Abstract（参考訳）: ブラックボックス最適化アルゴリズムは、強化学習や素早い微調整を含む様々な機械学習問題で広く使われている。 しかし、既存のブラックボックス最適化手法で一般的に行われているように、トレーニング損失値を直接最適化することは、最適モデルの品質と一般化性能をもたらす可能性がある。 ブラックボックス最適化におけるこれらの問題に対処するために,シャープネス対応ブラックボックス最適化(SABO)アルゴリズムを提案する。 具体的には,提案手法はまず,ガウス分布に対する期待値による目的関数の再パラメータ化を行う。 そして、ガウス分布空間の現在の解の周りの小さな近傍において、最大目標値の近似確率勾配によりパラメータ化分布を反復的に更新する。 理論的には、提案したSABOアルゴリズムの収束率と一般化限界を証明する。 実験により, モデル一般化性能向上のためのSABO法の有効性が実証された。

関連論文リスト

• Covariance-Adaptive Sequential Black-box Optimization for Diffusion Targeted Generation [60.41803046775034]
  ユーザのブラックボックス目標スコアのみを用いた拡散モデルを用いて,ユーザ優先のターゲット生成を行う方法を示す。 数値実験問題と目標誘導型3次元分子生成タスクの両方の実験により,より優れた目標値を得る上で,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-06-02T17:26:27Z)
• Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
  ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。 新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
  論文  参考訳（メタデータ） (2024-01-30T14:16:06Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• Polynomial-Model-Based Optimization for Blackbox Objectives [0.0]
  ブラックボックス最適化は、事前定義された目的関数が最小化されるようなシステムに対して最適なパラメータを求める。 PMBOは目的関数にサロゲートを合わせることで最小値を求める新しいブラックボックスである。 PMBOは、与えられた人工的解析関数のセットに対して、他の最先端のアルゴリズムとベンチマークされる。
  論文  参考訳（メタデータ） (2023-09-01T14:11:03Z)
• Neural-BO: A Black-box Optimization Algorithm using Deep Neural Networks [12.218039144209017]
  ニューラルネットワークを用いてブラックボックス関数をモデル化する新しいブラックボックス最適化アルゴリズムを提案する。 我々のアルゴリズムは予測の不確実性を推定するためにベイズニューラルネットワークを必要としないので、計算に有利である。
  論文  参考訳（メタデータ） (2023-03-03T02:53:56Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Meta Learning Black-Box Population-Based Optimizers [0.0]
  人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。 メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T08:13:25Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。