論文の概要: Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations

• arxiv url: http://arxiv.org/abs/2510.19975v1
• Date: Wed, 22 Oct 2025 19:06:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.716802
• Title: Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations
• Title（参考訳）: ゼロ階最適化の再検討:最小分散二点推定器と指向性摂動
• Authors: Shaocong Ma, Heng Huang,
• Abstract要約: 乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 57.179679246370114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we explore the two-point zeroth-order gradient estimator and identify the distribution of random perturbations that minimizes the estimator's asymptotic variance as the perturbation stepsize tends to zero. We formulate it as a constrained functional optimization problem over the space of perturbation distributions. Our findings reveal that such desired perturbations can align directionally with the true gradient, instead of maintaining a fixed length. While existing research has largely focused on fixed-length perturbations, the potential advantages of directional alignment have been overlooked. To address this gap, we delve into the theoretical and empirical properties of the directionally aligned perturbation (DAP) scheme, which adaptively offers higher accuracy along critical directions. Additionally, we provide a convergence analysis for stochastic gradient descent using $\delta$-unbiased random perturbations, extending existing complexity bounds to a wider range of perturbations. Through empirical evaluations on both synthetic problems and practical tasks, we demonstrate that DAPs outperform traditional methods under specific conditions.
• Abstract（参考訳）: 本稿では, 2点ゼロ階勾配推定器を探索し, 摂動段差がゼロになる傾向にあるため, 推定器の漸近変動を最小限に抑えるランダム摂動分布を同定する。 摂動分布空間上の制約付き関数最適化問題として定式化する。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。 既存の研究は、主に固定長の摂動に焦点を当てているが、方向アライメントの潜在的な利点は見過ごされている。 このギャップに対処するために、臨界方向に沿って高い精度を提供する方向整列摂動(DAP)スキームの理論的および経験的特性を探索する。 さらに、$\delta$-unbiased random perturbation を用いて確率勾配勾配の収束解析を行い、既存の複雑性をより広い範囲の摂動に拡張する。 合成問題と実践的課題の両方に関する実証的な評価を通じて,DAPが特定の条件下で従来の手法より優れていることを示す。

関連論文リスト

• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Implicit Regularization of Infinitesimally-perturbed Gradient Descent Toward Low-dimensional Solutions [16.45408984254899]
  帰納正規化とは、局所探索アルゴリズムが低次元の解に収束する現象を指す。 暗黙の規則化の成功は、暗黙の領域に近づきながら、厳密なサドル勾配から効率的に逃れる能力にかかっている。
  論文  参考訳（メタデータ） (2025-05-22T21:45:27Z)
• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Inexact subgradient methods for semialgebraic functions [18.293072574300798]
  機械学習における近似勾配の広範囲な適用を動機として, 永続的な誤差を受ける部分エクサクティヴな加算法について検討する。 我々の分析は、消滅と定常的なステップサイズ体制の両方に対処する。
  論文  参考訳（メタデータ） (2024-04-30T12:47:42Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Sparse Representations of Positive Functions via First and Second-Order Pseudo-Mirror Descent [15.340540198612823]
  推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。 Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。 実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
  論文  参考訳（メタデータ） (2020-11-13T21:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。