論文の概要: No-go Theorem for Acceleration in the Hyperbolic Plane

• arxiv url: http://arxiv.org/abs/2101.05657v2
• Date: Sun, 17 Jan 2021 03:01:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 00:54:27.947140
• Title: No-go Theorem for Acceleration in the Hyperbolic Plane
• Title（参考訳）: 双曲平面における加速のノーゴー理論
• Authors: Linus Hamilton, Ankur Moitra
• Abstract要約: 雑音条件下では、双曲平面上の測地的凸函数に対する加速勾配降下の類似は存在しない。 ノイズが指数関数的に小さい場合でも結果が当てはまる。 負の曲面空間では、ボールの体積が非常に速く成長し、過去の勾配に関する情報は将来的には役に立たない。
• 参考スコア（独自算出の注目度）: 18.841129356398742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years there has been significant effort to adapt the key tools and ideas in convex optimization to the Riemannian setting. One key challenge has remained: Is there a Nesterov-like accelerated gradient method for geodesically convex functions on a Riemannian manifold? Recent work has given partial answers and the hope was that this ought to be possible. Here we dash these hopes. We prove that in a noisy setting, there is no analogue of accelerated gradient descent for geodesically convex functions on the hyperbolic plane. Our results apply even when the noise is exponentially small. The key intuition behind our proof is short and simple: In negatively curved spaces, the volume of a ball grows so fast that information about the past gradients is not useful in the future.
• Abstract（参考訳）: 近年、凸最適化の鍵となるツールやアイデアをリーマン集合に適応させる努力が盛んに行われている。 リーマン多様体上の測地的凸函数に対するネステロフ様加速勾配法は存在するか? 最近の研究は部分的な回答を与えており、これが可能となることを期待している。 ここでは、これらの希望を掘り下げる。 ノイズの多い環境では、双曲平面上の測地凸関数に対する加速度勾配降下の類似性がないことが証明される。 ノイズが指数関数的に小さい場合でも結果が当てはまる。 負の湾曲した空間では、ボールの体積は非常に速く成長し、過去の勾配に関する情報は将来的には役に立たない。

関連論文リスト

• Non-geodesically-convex optimization in the Wasserstein space [6.191080353023223]
  確率関数が非測地論であるワッサーシュタイン空間測度における最適化問題のクラスである。 この設定はまた、分布の目標が分布の差分構造であるサンプリング問題も含む。
  論文  参考訳（メタデータ） (2024-06-01T17:10:56Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Restarted Nonconvex Accelerated Gradient Descent: No More Polylogarithmic Factor in the $O(\epsilon^{-7/4})$ Complexity [70.65867695317633]
  本稿では,2つの単純な加速勾配法,再発進勾配降下法(AGD)と再発進球法(HB)を提案する。 我々は、我々の手法が$frac1epsilon)$の勾配反復数を達成することを確証する。 我々のアルゴリズムは、ネストフの古典的なAGDオークのHBと再起動機構のみからなるという意味では単純である。
  論文  参考訳（メタデータ） (2022-01-27T10:04:04Z)
• Global Riemannian Acceleration in Hyperbolic and Spherical Spaces [0.0]
  第1次大域一階法によるユークリッド曲率の加速現象の研究 第一次方法は、加速勾配降下と同じ速度をユークリッド勾配で達成する。
  論文  参考訳（メタデータ） (2020-12-07T12:09:30Z)
• Escape saddle points faster on manifolds via perturbed Riemannian stochastic recursive gradient [36.79189106909088]
  我々のアルゴリズムは、勾配を求めるために$widetildemathcalObig( frac sqrtnepsilon2 + fracsqrtn delta4 + fracndelta3big)$グラデーションクエリを必要とする。 さらに$widetildemathcalObig( frac1epsilon3 +)の複雑さも提供します。
  論文  参考訳（メタデータ） (2020-10-23T06:41:56Z)
• Ultrahyperbolic Representation Learning [13.828165530602224]
  機械学習では、データは通常、点間の距離が直線に沿っているユークリッド空間で表現される。 定数非零曲率の擬リーマン多様体上に存在する表現を提案する。 この幾何学において必要な学習ツールを提供し、勾配に基づく最適化手法を拡張した。
  論文  参考訳（メタデータ） (2020-07-01T03:49:24Z)
• GO Hessian for Expectation-Based Objectives [73.06986780804269]
  GOグラデーションは、最近予測に基づく目的に対して$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$として提案された。 GO勾配に基づいて、$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$ an unbiased low-variance Hessian estimator, named GO Hessian を示す。
  論文  参考訳（メタデータ） (2020-06-16T02:20:41Z)
• Differentiating through the Fr\'echet Mean [51.32291896926807]
  フレット平均(Fr'echet mean)はユークリッド平均の一般化である。 任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。 これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
  論文  参考訳（メタデータ） (2020-02-29T19:49:38Z)
• Fast Convergence for Langevin Diffusion with Manifold Structure [32.494158429289584]
  値と問合せが可能な関数 f に対して、p(x) 形式のプロット e-beta fx) の分布からサンプリングする問題に対処する。 我々の研究は、パラメータの空間に高い完成度がある場合、どのようにして同じ出力を生成するかを理解するための重要な第一歩である、と我々は主張する。
  論文  参考訳（メタデータ） (2020-02-13T15:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。