論文の概要: GO Hessian for Expectation-Based Objectives

• arxiv url: http://arxiv.org/abs/2006.08873v1
• Date: Tue, 16 Jun 2020 02:20:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 19:10:49.971817
• Title: GO Hessian for Expectation-Based Objectives
• Title（参考訳）: 期待に基づく目標のためのgo hessian
• Authors: Yulai Cong, Miaoyun Zhao, Jianqiao Li, Junya Chen, Lawrence Carin
• Abstract要約: GOグラデーションは、最近予測に基づく目的に対して$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$として提案された。 GO勾配に基づいて、$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$ an unbiased low-variance Hessian estimator, named GO Hessian を示す。
• 参考スコア（独自算出の注目度）: 73.06986780804269
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An unbiased low-variance gradient estimator, termed GO gradient, was proposed recently for expectation-based objectives $\mathbb{E}_{q_{\boldsymbol{\gamma}}(\boldsymbol{y})} [f(\boldsymbol{y})]$, where the random variable (RV) $\boldsymbol{y}$ may be drawn from a stochastic computation graph with continuous (non-reparameterizable) internal nodes and continuous/discrete leaves. Upgrading the GO gradient, we present for $\mathbb{E}_{q_{\boldsymbol{\boldsymbol{\gamma}}}(\boldsymbol{y})} [f(\boldsymbol{y})]$ an unbiased low-variance Hessian estimator, named GO Hessian. Considering practical implementation, we reveal that GO Hessian is easy-to-use with auto-differentiation and Hessian-vector products, enabling efficient cheap exploitation of curvature information over stochastic computation graphs. As representative examples, we present the GO Hessian for non-reparameterizable gamma and negative binomial RVs/nodes. Based on the GO Hessian, we design a new second-order method for $\mathbb{E}_{q_{\boldsymbol{\boldsymbol{\gamma}}}(\boldsymbol{y})} [f(\boldsymbol{y})]$, with rigorous experiments conducted to verify its effectiveness and efficiency.
• Abstract（参考訳）: 期待に基づく目標である$\mathbb{e}_{q_{\boldsymbol{\gamma}}(\boldsymbol{y})} [f(\boldsymbol{y})]$, ここで確率変数 (rv) $\boldsymbol{y}$ は連続(非可換)の内部ノードと連続/離散葉を持つ確率的計算グラフから引き出すことができる。 GO勾配をアップグレードすると、$\mathbb{E}_{q_{\boldsymboldsymbol {\gamma}}}(\boldsymbol{y})} [f(\boldsymbol{y})]$ an unbiased low-variance Hessian estimator, named GO Hessian が現れる。 実用的な実装を考えると,GO Hessian は自動微分や Hessian-vector 製品で使いやすく,確率計算グラフ上での曲率情報の効率よく利用することができる。 代表的な例として,ノンリパラメタブルガンマと負二項rsv/ノードのgo hessianを提案する。 go hessian に基づいて、$\mathbb{e}_{q_{\boldsymbol{\boldsymbol{\gamma}}}(\boldsymbol{y})} [f(\boldsymbol{y})]$ の新たな二階法を設計し、その有効性と効率性を検証するための厳密な実験を行った。

関連論文リスト

• Targeted Variance Reduction: Robust Bayesian Optimization of Black-Box Simulators with Noise Parameters [1.7404865362620803]
  本稿では,TVR(Targeted Variance Reduction)と呼ばれるベイズ最適化手法を提案する。 TVR は $(mathbfx,boldsymboltheta)$ 以上の新しい共同獲得関数を利用しており、これは所望の改善領域内の目的に対する分散還元を目標としている。 自動車用ブレーキディスクの高剛性設計への一組の数値実験において,TVRの性能向上を実証した。
  論文  参考訳（メタデータ） (2024-03-06T16:03:37Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Stochastic Zeroth Order Gradient and Hessian Estimators: Variance Reduction and Refined Bias Bounds [6.137707924685666]
  我々は$mathbbRn$における実数値関数に対するゼロ次数とヘッセン推定器について検討する。 ランダムな方向に沿って有限差分を取ることにより、勾配有限差分推定器の分散を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-05-29T18:53:24Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• Polyak-Ruppert Averaged Q-Leaning is Statistically Efficient [90.14768299744792]
  我々はPolyak-Ruppert 平均 Q-leaning (平均 Q-leaning) を用いた同期 Q-learning を$gamma$-discounted MDP で検討した。 繰り返し平均$barboldsymbolQ_T$に対して正規性を確立する。 要するに、我々の理論分析は、Q-Leaningの平均は統計的に効率的であることを示している。
  論文  参考訳（メタデータ） (2021-12-29T14:47:56Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Tree-Projected Gradient Descent for Estimating Gradient-Sparse Parameters on Graphs [10.846572437131872]
  mathbbRp$における勾配スパースパラメータの$boldsymboltheta*の推定について検討した。 損失に対する厳密な凸性および滑らかさの仮定が適切に制限されている場合、この推定器は、$G$とは独立な乗法定数までの2乗誤差リスク $fracs*n log (1+fracps*)$を達成する。
  論文  参考訳（メタデータ） (2020-05-31T20:08:13Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)
• Stochastic Recursive Gradient Descent Ascent for Stochastic Nonconvex-Strongly-Concave Minimax Problems [36.645753881826955]
  本稿では,分散を利用してより効率的に推定できるRecurEnti Ascent(SREDA)という新しい手法を提案する。 この方法はこの問題でよく知られている。
  論文  参考訳（メタデータ） (2020-01-11T09:05:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。