論文の概要: A Formal Kinetic Theory for Zeroth-Order Newton Dynamics:Stein-Corrected Hessian Estimation and Curvature--Variance Trade-offs
- arxiv url: http://arxiv.org/abs/2607.22567v1
- Date: Sun, 31 May 2026 08:34:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.968613
- Title: A Formal Kinetic Theory for Zeroth-Order Newton Dynamics:Stein-Corrected Hessian Estimation and Curvature--Variance Trade-offs
- Title（参考訳）: ゼロ階ニュートンダイナミクスの定式速度論:定常補正ヘシアン推定と曲率-変動トレードオフ
- Abstract要約: ブラックボックス関数値から勾配とヘシアンを推定するアルゴリズムのフレームワークを開発する。
小質量の運動性リフトは、有限ステップのニュートン更新を、損傷の少ない位相空間モデルにリンクする。
数値実験により、推定器の同一性、勾配とヘッセンの分散法則、次元スケーリング、逆摂動精度、最適化挙動が確認できる。
- 参考スコア（独自算出の注目度）: 13.19850137760249
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zeroth-order Newton-type methods are useful when gradients and Hessians are unavailable, but they behave quite differently from first-order gradient-free methods. We develop a kinetic framework for algorithms that estimate both gradient and Hessian from black-box function values. The naive random-direction Hessian estimator turns out to be biased even on quadratics; a Gaussian--Stein correction is needed to estimate the Hessian of the Gaussian-smoothed objective. Linearizing the inverse Hessian exposes two noise channels: gradient noise preconditioned by the inverse Hessian, and Hessian noise transmitted through an inverse-Hessian sandwich. Under a noisy oracle the second channel carries the second-difference factor $μ_H^{-4}$. A small-mass kinetic lift links the finite-step Newton update to an underdamped phase-space model; the overdamped spatial limit yields a Lyapunov bound that exposes the curvature--variance trade-off between step size, batch sizes, smoothing radii, and regularization. Numerical experiments confirm estimator identities, the gradient and Hessian variance laws, dimension scaling, inverse-perturbation accuracy, and optimization behavior under query-budget and regularization ablations.
- Abstract（参考訳）: ゼロ階ニュートン型法は勾配とヘシアンが利用できない場合に有用であるが、一階勾配自由法とは全く異なる振る舞いをする。
ブラックボックス関数の値から勾配とヘシアンの両方を推定するアルゴリズムの速度論的フレームワークを開発する。
単純無作為なランダム方向 Hessian 推定器は二次数にも偏りがあることが判明し、ガウス-シュタイン補正はガウス-滑らかな目的の Hessian を推定するために必要である。
逆Hessianの線形化は、逆Hessianによってプリコンディションされた勾配ノイズと、逆Hessianサンドイッチを通して送信されるHessianノイズの2つのノイズチャネルを公開する。
ノイズの多いオラクルの下では、第2のチャネルは第2の差分係数$μ_H^{-4}$を持つ。
有限ステップのニュートン更新を下段の位相空間モデルに結び付け、過度に損傷された空間制限は、ステップサイズ、バッチサイズ、スムーズなラジイ、正規化の間の曲率-分散トレードオフを露呈するリャプノフ境界を生じる。
数値実験により, 推定器の同定, 勾配およびヘッセン分散則, 次元スケーリング, 逆摂動精度, およびクエリ予算および正規化による最適化挙動が確認された。
関連論文リスト
- Stochastic Gradient Descent over P2 [4.6107344298094235]
勾配降下(SGD)は、ガウス雑音による勾配の複雑なランダム性を置き換える拡散近似を認める。
我々は、類似近似の原理が、ワッサーシュタイン空間 P2 上で定義された函数である確率測度よりも最適化するために成り立つかどうかを考察する。
論文 参考訳（メタデータ） (2026-09-11T13:15:38Z) - Curvature-Weighted Gradient Diversity: A Noise Measure for Geometry-Adaptive SGD Schedules [1.1602089225841632]
ヘッセンの逆平方根による勾配毎の重み付けを幾何学的に認識した勾配測度である曲率-重み付きダイバーシティ(CWGD)を導入する。
CWGD-Cosineは、標準コサインよりも約20%低い最終最適化誤差を達成する。
これらの結果は、CWGDを最適化ノイズの原理的幾何認識尺度として確立し、より一般的な学習問題への将来の拡張を動機付けている。
論文 参考訳（メタデータ） (2026-06-29T15:22:32Z) - Gradient-Free Noise Optimization for Reward Alignment in Generative Models [52.42087778653147]
ZeNOは、経路積分制御問題としてノイズ最適化を定式化する、勾配のないフレームワークである。
効果的な推論時間スケーリングを可能にし、多様なジェネレータと報酬関数間で強力なパフォーマンスを示す。
論文 参考訳（メタデータ） (2026-05-12T00:05:36Z) - Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction [9.294518380204154]
勾配降下(SGD)アルゴリズムのオンライン推論と共分散推定について検討する。
提案手法は,既存のヘッセン自由代替品よりも優れた収差率$n(-1)/2 sqrtlog n$を達成するために,バイアス低減手法を用いている。
論文 参考訳（メタデータ） (2026-04-23T01:48:08Z) - The Origin of Edge of Stability [0.0]
ニューラルネットワーク上のフルバッチ勾配勾配は、最大のヘッセン固有値を2/$に駆動する。
本稿では,勾配差更新によって係数が一意に固定された連続反復対のエッジカップリングについて紹介する。
論文 参考訳（メタデータ） (2026-04-22T11:08:49Z) - Analysis of Hessian Scaling for Local and Global Costs in Variational Quantum Algorithm [0.42970700836450487]
変分量子アルゴリズムにおけるヘッセンのエントリーワイズ解の定量化を行う。
ショットノイズに対してヘッセン成分を解くのに必要なサンプルの複雑さを規定する2つの異なるスケーリング機構を示す。
論文 参考訳（メタデータ） (2026-01-31T15:49:23Z) - Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。
以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文 参考訳（メタデータ） (2025-10-22T19:06:39Z) - Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。
本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
論文 参考訳（メタデータ） (2023-04-17T20:59:49Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - A gradient estimator via L1-randomization for online zero-order
optimization with two point feedback [93.57603470949266]
2つの関数評価とランダム化に基づく新しい勾配推定器を提案する。
ゼロ次オラクルの雑音に対する仮定は,ノイズのキャンセルと逆方向雑音の2種類について考察する。
我々は、問題の全てのパラメータに適応する、いつでも完全にデータ駆動のアルゴリズムを提供する。
論文 参考訳（メタデータ） (2022-05-27T11:23:57Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳（メタデータ） (2020-06-04T21:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。