論文の概要: Adaptively Incorporating Directional Hints into Zeroth-Order Optimization
- arxiv url: http://arxiv.org/abs/2609.08277v1
- Date: Tue, 08 Sep 2026 05:42:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.590164
- Title: Adaptively Incorporating Directional Hints into Zeroth-Order Optimization
- Title（参考訳）: 方向性ヒントをゼロ階最適化に適応的に組み込む
- Abstract要約: 本研究では,非関数の次数ゼロの最適化を実現するアルゴリズムを開発した。
非制御タスクにおける持続的な進捗を示す手法を検証した。
- 参考スコア（独自算出の注目度）: 49.940317286021696
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study zeroth-order optimization of non-convex functions with the aid of directional hints, which are cheap but potentially inaccurate approximations of the true gradient direction, given by linear subspaces at each iteration. To leverage these hints adaptively while maintaining robustness to their quality, we introduce Control-Variate Zeroth-Order Descent (CV-ZOD), a new framework that refines the classical zeroth-order gradient estimator with a control variate that can be set based on the directional hints. We first show that the oracle algorithm that optimally sets the reference vector and step size at each iteration achieves a convergence rate that interpolates between the first-order $O(1/T)$ rate and the zeroth-order $O(d/T)$ rate, depending on the quality of the hints along the trajectory. We then develop a practical variant of CV-ZOD that achieves the same oracle guarantee up to logarithmic factors, without any prior knowledge of the hint quality. We validate the method empirically on simulation-based scientific optimization tasks, demonstrating sustained progress on non-convex landscapes where zeroth-order descent is slower and existing guided methods stall as guidance deteriorates.
- Abstract（参考訳）: 線形部分空間が各反復で与える真の勾配方向の近似を,安価だが不正確な近似である指向性ヒントを用いて,非凸関数のゼロ階最適化について検討する。
これらのヒントを高い品質を維持しつつ適応的に活用するために,従来のゼロ階勾配推定器を改良し,方向のヒントに基づいて設定できる新しいフレームワークであるCV-ZODを導入する。
まず,各反復における基準ベクトルとステップサイズを最適に設定するオラクルアルゴリズムが,軌道上のヒントの品質に応じて,第1次$O(1/T)と第0次$O(d/T)のレートを補間する収束率を達成することを示す。
CV-ZODの実用的変種を開発し, ヒント品質の事前知識を必要とせず, 対数的要因まで同一のオラクル保証を実現する。
本手法をシミュレーションに基づく科学的最適化タスクにおいて実証的に検証し,ゼロ階降下が遅い非凸景観における持続的な進行を示すとともに,ガイダンスの劣化に伴い既存の誘導手法が停止することを示す。
関連論文リスト
- A Parameter-Free First-Order Algorithm for Non-Convex Optimization with $\tilde{\mkern1mu O}(ε^{-5/3})$ Global Rate [0.12744523252873352]
PF-AGDはパラメータフリーで高速化された最初の1次法で、スムーズな非ログ目的に対して$O(-5)$複雑性を実現する。
論文 参考訳（メタデータ） (2026-05-04T01:17:06Z) - Prior-Informed Zeroth-Order Optimization with Adaptive Direction Alignment for Memory-Efficient LLM Fine-Tuning [4.278794376089146]
本稿では,事前インフォームド摂動を組み込んだプラグアンドプレイ手法を提案する。
本手法は標準ZO法と比較して収束を著しく加速する。
勾配推定器が真の勾配方向とより強く一致することを証明する。
論文 参考訳（メタデータ） (2026-01-08T08:27:15Z) - Single Point-Based Distributed Zeroth-Order Optimization with a Non-Convex Stochastic Objective Function [14.986031916712108]
勾配追跡手法の一点推定に基づくゼロ階分散最適化手法を提案する。
我々は,この手法が雑音条件下で数値関数と収束することを証明した。
論文 参考訳（メタデータ） (2024-10-08T11:45:45Z) - Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。
本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文 参考訳（メタデータ） (2024-06-28T02:56:22Z) - Double Variance Reduction: A Smoothing Trick for Composite Optimization Problems without First-Order Gradient [40.22217106270146]
ばらつき低減技術はサンプリングのばらつきを低減し、一階法(FO)とゼロ階法(ZO)の収束率を向上するように設計されている。
複合最適化問題において、ZO法は、ランダム推定から導かれる座標ワイド分散と呼ばれる追加の分散に遭遇する。
本稿では,ZPDVR法とZPDVR法を提案する。
論文 参考訳（メタデータ） (2024-05-28T02:27:53Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳（メタデータ） (2023-09-12T14:36:13Z) - Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳（メタデータ） (2023-02-01T08:50:48Z) - Stochastic Zeroth order Descent with Structured Directions [10.604744518360464]
我々は, 有限差分法であるStructured Zeroth Order Descent (SSZD)を導入・解析し, 集合 $lleq d 方向の勾配を近似し, $d は周囲空間の次元である。
凸凸に対して、すべての$c1/2$に対して$O( (d/l) k-c1/2$)$ 上の関数の収束はほぼ確実に証明する。
論文 参考訳（メタデータ） (2022-06-10T14:00:06Z) - An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm
for First-order and Zeroth-order Optimization [111.24899593052851]
条件勾配アルゴリズム(Frank-Wolfeアルゴリズムとも呼ばれる)は、最近、機械学習コミュニティで人気を取り戻している。
ARCSは、ゼロ階最適化において凸問題を解く最初のゼロ階条件勾配スライディング型アルゴリズムである。
1次最適化では、ARCSの収束結果は、勾配クエリのオラクルの数で、従来のアルゴリズムよりも大幅に優れていた。
論文 参考訳（メタデータ） (2021-09-18T07:08:11Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。