論文の概要: Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens

• arxiv url: http://arxiv.org/abs/2605.30960v1
• Date: Fri, 29 May 2026 07:55:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.455497
• Title: Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens
• Title（参考訳）: ゼロ階ヘッセン近似の再検討 : シングルステップ政策最適化レンズ
• Abstract要約: ZoVH は、フル・ヘッセン行列、正則化逆数、バイアス補正された逆ヘッセン勾配積に対する分散還元された推定器のスイートである。 実世界のアプリケーションにおいて,ZoVHはより優れた推定精度と収束性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 18.253856190297405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate Zeroth-Order (ZO) Hessian estimation is a cornerstone of derivative-free methods, essential for tasks such as bilevel optimization, Bayesian inference, and uncertainty quantification. However, obtaining a complete suite of low-variance estimators for the Hessian and its inverse in high-dimensional settings remains a significant challenge. To address this, we propose a unified framework that reinterprets ZO Hessian approximation through the lens of single-step Policy Optimization (PO). This perspective establishes a theoretical equivalence between general ZO Hessian estimators and the Hessian of a smoothed PO objective, unifying distinct classical randomized estimators as specific instances of baseline selection. Building on this foundation, we introduce ZoVH, a comprehensive suite of variance-reduced estimators for the full Hessian matrix, its regularized inverse, and the bias-corrected inverse Hessian-gradient product. ZoVH leverages two key techniques: (1) a unique optimal baseline derived to provably minimize variance, and (2) a query reuse strategy that incorporates historical function queries to enhance sample efficiency without inflating costs. Our rigorous theoretical analysis confirms the unbiasedness of the Hessian estimator, validates the variance optimality of our baseline, provides error bounds for the entire ZoVH suite, and establishes convergence guarantees for the resulting curvature-aware ZO algorithm. Extensive empirical results validate our theoretical findings, demonstrating that ZoVH achieves superior estimation accuracy and convergence performance in real-world applications. Code is available at https://github.com/Qjbtiger/ZoVH
• Abstract（参考訳）: 正確なゼロ階数 (ZO) ヘッセン推定は、二段階最適化、ベイズ推定、不確実量化といったタスクに不可欠な微分自由法の基礎である。 しかし、ヘッセン群とその高次元設定における逆数に対する低分散推定器の完全なスイートを得ることは、依然として重要な課題である。 そこで本研究では,ZOヘッセン近似を単一ステップポリシー最適化(PO)のレンズを通して再解釈する統合フレームワークを提案する。 この観点は、一般のZO ヘシアン推定器と滑らかなPO目的のヘシアンの間の理論的等価性を確立し、異なる古典的ランダム化推定器をベースライン選択の特定の例として統一する。 この基礎の上に構築されたZoVHは、全ヘッセン行列に対する分散還元推定器の包括的スイートであり、その正則化逆数とバイアス補正逆ヘッセン勾配積を紹介する。 ZoVHは,(1)分散を確実に最小化するために導出されるユニークな最適ベースライン,(2)コストを膨らませることなく,履歴関数クエリを組み込んでサンプル効率を向上させるクエリ再利用戦略の2つの主要な手法を利用する。 厳密な理論解析により、ヘッセン推定器の不偏性を確認し、ベースラインの分散最適性を検証し、ZoVHスイート全体の誤差境界を提供し、その結果の曲率対応ZOアルゴリズムの収束保証を確立する。 実験により,ZoVHが実世界の応用において優れた推定精度と収束性能を達成できることが実証された。 コードはhttps://github.com/Qjbtiger/ZoVHで入手できる。

関連論文リスト

• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Zeroth-Order Optimization is Secretly Single-Step Policy Optimization [14.7452801753212]
  Zeroth-Order Optimization (ZOO)は、明示的な勾配が利用できない、あるいは計算に費用がかかる関数を最適化するための強力なツールを提供する。 有限差分を持つZOOは、単一ステップポリシー最適化(PO)の具体例と等価である。 本稿では,PO-インスパイアされた分散低減手法を取り入れた新しいZOOアルゴリズムZoARを提案する。
  論文  参考訳（メタデータ） (2025-06-17T12:20:04Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Sparse Representations of Positive Functions via First and Second-Order Pseudo-Mirror Descent [15.340540198612823]
  推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。 Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。 実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
  論文  参考訳（メタデータ） (2020-11-13T21:54:28Z)
• The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization [0.0]
  ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。 提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。 本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
  論文  参考訳（メタデータ） (2020-06-08T03:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。