論文の概要: Towards Sharp Stochastic Zeroth Order Hessian Estimators over Riemannian Manifolds

• arxiv url: http://arxiv.org/abs/2201.10780v1
• Date: Wed, 26 Jan 2022 07:09:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 13:27:54.130503
• Title: Towards Sharp Stochastic Zeroth Order Hessian Estimators over Riemannian Manifolds
• Title（参考訳）: リーマン多様体上のシャープ確率零次ヘッセン推定器に向けて
• Authors: Tianyu Wang
• Abstract要約: O(1)$関数評価を用いたゼロ階ヘッセン推定器を新たに導入する。 リプシッツ・ヘッセン(英語版)による滑らかな実数値関数 $f$ に対して、我々の推定子は位数 $ O left(L delta + gamma delta2 right)$ のバイアス境界を達成する。
• 参考スコア（独自算出の注目度）: 5.7569764948783355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study Hessian estimators for real-valued functions defined over an $n$-dimensional complete Riemannian manifold. We introduce new stochastic zeroth-order Hessian estimators using $O (1)$ function evaluations. We show that, for a smooth real-valued function $f$ with Lipschitz Hessian (with respect to the Rimannian metric), our estimator achieves a bias bound of order $ O \left( L_2 \delta + \gamma \delta^2 \right) $, where $ L_2 $ is the Lipschitz constant for the Hessian, $ \gamma $ depends on both the Levi-Civita connection and function $f$, and $\delta$ is the finite difference step size. To the best of our knowledge, our results provide the first bias bound for Hessian estimators that explicitly depends on the geometry of the underlying Riemannian manifold. Perhaps more importantly, our bias bound does not increase with dimension $n$. This improves best previously known bias bound for $O(1)$-evaluation Hessian estimators, which increases quadratically with $n$. We also study downstream computations based on our Hessian estimators. The supremacy of our method is evidenced by empirical evaluations.
• Abstract（参考訳）: 我々は、$n$次元完備リーマン多様体上で定義される実数値函数に対するヘッセン推定子を研究する。 O(1)$関数評価を用いた確率ゼロ階ヘッセン推定器を提案する。 リプシッツ・ヘッセンの滑らかな実数値関数 $f$ に対して、我々の推定子は位数 $ O \left(L_2 \delta + \gamma \delta^2 \right) $ のバイアス境界を達成し、ここで L_2 $ はヘッセンのリプシッツ定数、$ \gamma $ はレヴィ・チヴィタ接続と関数 $f$ の両方に依存し、$\delta$ は有限差分ステップサイズである。 我々の知る限りでは、この結果は、基礎となるリーマン多様体の幾何学に明示的に依存するヘッセン推定子に束縛された最初のバイアスを与える。 おそらくもっと重要なことは、バイアスバウンドが次元$n$で増加しないことです。 これにより、$O(1)$-evaluation Hessian estimator に対する最もよく知られたバイアスが改善され、$n$で二次的に増加する。 また,hessian estimatorsに基づく下流計算についても検討した。 本手法の優越性は経験的評価によって証明される。

関連論文リスト

• Optimal Sketching for Residual Error Estimation for Matrix and Vector Norms [50.15964512954274]
  線形スケッチを用いた行列とベクトルノルムの残差誤差推定問題について検討する。 これは、前作とほぼ同じスケッチサイズと精度で、経験的にかなり有利であることを示す。 また、スパースリカバリ問題に対して$Omega(k2/pn1-2/p)$低いバウンダリを示し、これは$mathrmpoly(log n)$ factorまで厳密である。
  論文  参考訳（メタデータ） (2024-08-16T02:33:07Z)
• Estimation and Inference in Distributional Reinforcement Learning [28.253677740976197]
  サイズ$widetilde Oleft(frac|mathcalS||mathcalA|epsilon2 (1-gamma)4right)$ suffices to ensure the Kolmogorov metric and total variation metric between $hatetapi$ and $etapi$ is below $epsilon$ with high probability。 以上の結果から,多種多様な統計的汎関数の統計的推測への統一的アプローチがもたらされた。
  論文  参考訳（メタデータ） (2023-09-29T14:14:53Z)
• $L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
  この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。 特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
  論文  参考訳（メタデータ） (2023-09-17T01:45:13Z)
• Accelerated Methods for Riemannian Min-Max Optimization Ensuring Bounded Geometric Penalties [21.141544548229774]
  我々は$min_x max_y f(x, y) という形式で、$mathcalN$ は Hadamard である。 我々は、勾配収束定数を減少させることにより、グローバルな関心が加速されることを示す。
  論文  参考訳（メタデータ） (2023-05-25T15:43:07Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• Stochastic Zeroth Order Gradient and Hessian Estimators: Variance Reduction and Refined Bias Bounds [6.137707924685666]
  我々は$mathbbRn$における実数値関数に対するゼロ次数とヘッセン推定器について検討する。 ランダムな方向に沿って有限差分を取ることにより、勾配有限差分推定器の分散を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-05-29T18:53:24Z)
• Storage and retrieval of von Neumann measurements [0.0]
  本研究は、有限個のコピーから次元$d$の未知のフォン・ノイマン測度を学習する問題を考察する。 我々の主な目標は、一般の$N右ロー1$学習スキームに対して平均忠実度関数$F_d$の最大値の振る舞いを推定することである。
  論文  参考訳（メタデータ） (2022-04-06T18:19:04Z)
• Sparse sketches with small inversion bias [79.77110958547695]
  逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。 本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。 スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
  論文  参考訳（メタデータ） (2020-11-21T01:33:15Z)
• A One-bit, Comparison-Based Gradient Estimator [29.600975900977343]
  正規化勾配の頑健で信頼性の高い推定器を構築するために、1ビット圧縮センシングのツールを利用する方法を示す。 勾配降下法において,この推定器を用いたSCOBOというアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-06T05:01:38Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。