論文の概要: Enhanced Derivative-Free Optimization Using Adaptive Correlation-Induced Finite Difference Estimators

• arxiv url: http://arxiv.org/abs/2502.20819v1
• Date: Fri, 28 Feb 2025 08:05:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:42:51.447520
• Title: Enhanced Derivative-Free Optimization Using Adaptive Correlation-Induced Finite Difference Estimators
• Title（参考訳）: 適応的相関誘導差分推定器を用いた微分自由度最適化
• Authors: Guo Liang, Guangwu Liu, Kun Zhang,
• Abstract要約: 勾配推定効率とサンプル効率の両面からDFOを向上させるアルゴリズムを開発した。 提案アルゴリズムの整合性を確立し,反復毎にサンプルのバッチを用いても,KW法やSPSA法と同じ収束率が得られることを示した。
• 参考スコア（独自算出の注目度）: 6.054123928890574
• License:
• Abstract: Gradient-based methods are well-suited for derivative-free optimization (DFO), where finite-difference (FD) estimates are commonly used as gradient surrogates. Traditional stochastic approximation methods, such as Kiefer-Wolfowitz (KW) and simultaneous perturbation stochastic approximation (SPSA), typically utilize only two samples per iteration, resulting in imprecise gradient estimates and necessitating diminishing step sizes for convergence. In this paper, we first explore an efficient FD estimate, referred to as correlation-induced FD estimate, which is a batch-based estimate. Then, we propose an adaptive sampling strategy that dynamically determines the batch size at each iteration. By combining these two components, we develop an algorithm designed to enhance DFO in terms of both gradient estimation efficiency and sample efficiency. Furthermore, we establish the consistency of our proposed algorithm and demonstrate that, despite using a batch of samples per iteration, it achieves the same convergence rate as the KW and SPSA methods. Additionally, we propose a novel stochastic line search technique to adaptively tune the step size in practice. Finally, comprehensive numerical experiments confirm the superior empirical performance of the proposed algorithm.
• Abstract（参考訳）: 勾配に基づく手法は微分自由最適化(DFO)に適しており、有限差分法(FD)推定は勾配サロゲートとして一般的に用いられる。 Kiefer-Wolfowitz (KW) や同時摂動確率近似 (SPSA) のような従来の確率近似法は、通常イテレーション毎に2つのサンプルしか使用せず、不正確な勾配推定と収束のために減少するステップサイズを必要とする。 本稿では、まず、相関性に基づくFD推定と呼ばれる、バッチベースの効率的なFD推定について検討する。 そこで本研究では,各イテレーションにおけるバッチサイズを動的に決定する適応型サンプリング手法を提案する。 これら2つの成分を組み合わせることで、勾配推定効率とサンプル効率の両方の観点からDFOを強化するアルゴリズムを開発した。 さらに,提案アルゴリズムの整合性を確立し,反復1回につき1組のサンプルを用いても,KW法やSPSA法と同じ収束率が得られることを示した。 さらに,ステップサイズを適応的に調整する新しい確率線探索手法を提案する。 最後に,提案アルゴリズムの優れた実験性能を総合的な数値実験により確認した。

関連論文リスト

• Derivative-Free Optimization via Finite Difference Approximation: An Experimental Study [1.3886390523644807]
  微分自由最適化(DFO)は、関数評価のみをオラクルで利用できるような複雑な最適化問題の解決に不可欠である。 2つの古典的なイテレーションアプローチは、Kiefer-Wolfowitz (KW) と同時摂動近似 (SPSA) アルゴリズムである。 本稿では,これらの手法の総合的な比較実験を行う。
  論文  参考訳（メタデータ） (2024-10-31T18:07:44Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• A Correlation-induced Finite Difference Estimator [6.054123928890574]
  まず, 最適な摂動を推定するためにブートストラップ法を用いて試料駆動法を提案し, そして, 推定された最適摂動の相関値に基づく効率的なFD推定器を提案する。 数値計算により, 推定器の効率性を確認し, 提案理論, 特にサンプルサイズが小さい場合とよく一致した。
  論文  参考訳（メタデータ） (2024-05-09T09:27:18Z)
• Efficient Computation of Sparse and Robust Maximum Association Estimators [0.4588028371034406]
  ロバスト統計推定器は経験的精度を提供するが、しばしば高次元スパース設定において計算的に困難である。 現代のアソシエーション推定手法は、他のロバストな手法に対してレジリエンスを課すことなく、外れ値に利用される。
  論文  参考訳（メタデータ） (2023-11-29T11:57:50Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Accelerating Stochastic Probabilistic Inference [1.599072005190786]
  変分推論(SVI)は確率モデルの良好な後部近似を求める能力により、ますます魅力的になっている。 最先端のSVIアルゴリズムのほとんど全てが一階最適化に基づいており、しばしば収束率の低下に悩まされている。 我々は二階法と変分推論のギャップを二階法に基づく変分推論手法によって埋める。
  論文  参考訳（メタデータ） (2022-03-15T01:19:12Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。