論文の概要: On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization

• arxiv url: http://arxiv.org/abs/2510.19953v1
• Date: Wed, 22 Oct 2025 18:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.632334
• Title: On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization
• Title（参考訳）: ゼロ階最適化のための非バイアス勾配推定器の最適構成について
• Authors: Shaocong Ma, Heng Huang,
• Abstract要約: 既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
• 参考スコア（独自算出の注目度）: 57.179679246370114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zeroth-order optimization (ZOO) is an important framework for stochastic optimization when gradients are unavailable or expensive to compute. A potential limitation of existing ZOO methods is the bias inherent in most gradient estimators unless the perturbation stepsize vanishes. In this paper, we overcome this biasedness issue by proposing a novel family of unbiased gradient estimators based solely on function evaluations. By reformulating directional derivatives as a telescoping series and sampling from carefully designed distributions, we construct estimators that eliminate bias while maintaining favorable variance. We analyze their theoretical properties, derive optimal scaling distributions and perturbation stepsizes of four specific constructions, and prove that SGD using the proposed estimators achieves optimal complexity for smooth non-convex objectives. Experiments on synthetic tasks and language model fine-tuning confirm the superior accuracy and convergence of our approach compared to standard methods.
• Abstract（参考訳）: ゼロ階最適化(ZOO)は、勾配が利用できない場合や計算に費用がかかる場合、確率的最適化のための重要なフレームワークである。 既存のZOO法の潜在的な制限は、摂動段差が消えない限り、ほとんどの勾配推定器に固有のバイアスである。 本稿では,関数評価のみに基づく非偏り勾配推定器の新たなファミリーを提案することにより,偏りの問題を克服する。 指向性デリバティブをテレスコープシリーズとして再構成し、慎重に設計された分布からサンプリングすることにより、好ましい分散を維持しながらバイアスを除去する推定器を構築する。 本研究では, それらの理論特性を分析し, 最適スケーリング分布と摂動段階を導出し, 提案した推定器を用いたSGDが, 滑らかな非凸目的に対して最適な複雑性を実現することを証明した。 合成課題と言語モデルの微調整実験により,本手法の精度と収束度を標準手法と比較した。

関連論文リスト

• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation [3.328448170090945]
  適応的なステップを持つグラディエントDescent(SGD)は、ディープニューラルネットワークと生成モデルのトレーニングに広く使用されている。 本稿では,勾配関数に対するバイアスの影響を包括的に分析する。
  論文  参考訳（メタデータ） (2024-02-05T10:17:36Z)
• Scalable method for Bayesian experimental design without integrating over posterior distribution [0.0]
  実験問題のA-最適ベイズ設計における計算効率について検討する。 A-最適性はベイズの実験設計に広く用いられ、容易に解釈できる基準である。 本研究は, A-Optimal 実験設計における新しい可能性のないアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:40:43Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Biased Stochastic First-Order Methods for Conditional Stochastic Optimization and Applications in Meta Learning [24.12941820827126]
  条件最適化問題に対するバイアス勾配勾配勾配(BSGD)を提案する。 下界解析により,BSGDは一般凸対象の非目的に対して改善できないことが示された。 この特別な設定のために、下界にマッチするバイアスドスパイダーブースト (BSpiderBoost) と呼ばれる加速アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-25T10:57:38Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。